トップページ > 記事閲覧
米国ヤフーからの読み込み制限での待機時間について
投稿日 : 2025/04/10(Thu) 16:06
投稿者 オオノ
参照先
西様

お世話になっております。
立て続けにすみません。

少しマニアックな話になりますが、日本ヤフーや米国ヤフーから株価データをダウンロードすると、十数件から数十件で読み込み制限で待機していますが、これはヤフーから制限が掛かったことを受けて待機しているのでしょうか?

それとも、プログラムの方で「〇〇件取得したら、〇〇秒待機」という形にしているのでしょうか?

というのも、私がGASで日本のヤフーから株価データ等をダウンロードすると200件くらいまでは、一気にダウンロードできていますので、もし「〇〇件取得」という制限をかけているのであれば、1バッチ190件くらいで試していただけないかと考えています。
※200件超えると制限がかかるような感じです。

もしくは、(ブラウザみたいな)ヘッダー偽装をして、1件毎に0.8秒〜2秒くらいのインターバルをランダムに入れると読み込み制限を突破できていますが、そのような形にプログラムを改良していただけないしょうか?
そうすると、ヤフー経由でも比較的早くデータが取得できると思いました。

無尽蔵でのデータ取得は早くて良いのですが、19時か20時くらいにならないと当日データが取得できないんですよね?
もしかすると無尽蔵が突然サービスを止めてしまう可能性もあると思いましたので、バックアップで上記仕様も良いのではないかと考えました。

以上、ご検討のほど、よろしくお願い致します。
記事編集 編集
Re: 米国ヤフーからの読み込み制限での待機時間について
投稿日 : 2025/04/10(Thu) 16:34
投稿者 スペース西
参照先
オオノ さん、こんにちは。スペース西です。

>日本ヤフーや米国ヤフーから株価データをダウンロードすると、十数件から数十件で読み込み制限で待機していますが、
>これはヤフーから制限が掛かったことを受けて待機しているのでしょうか?

はい、その通りです。
どこのヤフーの制限かは、最下行へ表示しています。

>それとも、プログラムの方で「〇〇件取得したら、〇〇秒待機」という形にしているのでしょうか?

制限が掛かれば、定期的に解除されたかを監視し、解除が確認できれば読込を再開します。

>私がGASで日本のヤフーから株価データ等をダウンロードすると200件くらいまでは、一気にダウンロードできていますので、
>もし「〇〇件取得」という制限をかけているのであれば、1バッチ190件くらいで試していただけないかと考えています。
>※200件超えると制限がかかるような感じです。

ご提案、ありがとうございます。

ただ、ヤフーの制限仕様は時々変更になります。
制限件数を固定すると、都度プログラムの修正が必要になります。
それと、仮に制限を受けない190件で休息しても、+10〜50件で直ぐ制限に掛かります。
言い換えると、制限まで読込、解除を待つのが現時点では一番高速と判断しています。

>もしくは、(ブラウザみたいな)ヘッダー偽装をして、1件毎に0.8秒〜2秒くらいのインターバルをランダムに入れると読み込み制限を突破できていますが、
>そのような形にプログラムを改良していただけないしょうか?

素晴らしいアイデア、ありがとうございます。
実際に制限を突破されているようで素晴らしい技術です。
研究させて頂きます。

>無尽蔵でのデータ取得は早くて良いのですが、19時か20時くらいにならないと当日データが取得できないんですよね?

はい、その通りです。
無尽蔵さんの作業が終わらないと読込できません。
記事編集 編集
件名 (必須) 投稿(質問)をトップへソート
名前 (必須)
メールアドレス
URL
画像添付


暗証キー
画像認証 (右画像の数字を入力) 投稿キー
コメント (必須)

- WEB PATIO -