
米国ヤフーからの読み込み制限での待機時間について
投稿日 |
: 2025/04/10(Thu) 16:06 |
投稿者 |
: オオノ |
参照先 |
: |
西様
お世話になっております。
立て続けにすみません。
少しマニアックな話になりますが、日本ヤフーや米国ヤフーから株価データをダウンロードすると、十数件から数十件で読み込み制限で待機していますが、これはヤフーから制限が掛かったことを受けて待機しているのでしょうか?
それとも、プログラムの方で「〇〇件取得したら、〇〇秒待機」という形にしているのでしょうか?
というのも、私がGASで日本のヤフーから株価データ等をダウンロードすると200件くらいまでは、一気にダウンロードできていますので、もし「〇〇件取得」という制限をかけているのであれば、1バッチ190件くらいで試していただけないかと考えています。
※200件超えると制限がかかるような感じです。
もしくは、(ブラウザみたいな)ヘッダー偽装をして、1件毎に0.8秒〜2秒くらいのインターバルをランダムに入れると読み込み制限を突破できていますが、そのような形にプログラムを改良していただけないしょうか?
そうすると、ヤフー経由でも比較的早くデータが取得できると思いました。
無尽蔵でのデータ取得は早くて良いのですが、19時か20時くらいにならないと当日データが取得できないんですよね?
もしかすると無尽蔵が突然サービスを止めてしまう可能性もあると思いましたので、バックアップで上記仕様も良いのではないかと考えました。
以上、ご検討のほど、よろしくお願い致します。

編集

Re: 米国ヤフーからの読み込み制限での待機時間について
投稿日 |
: 2025/04/10(Thu) 16:34 |
投稿者 |
: スペース西 |
参照先 |
: |
オオノ さん、こんにちは。スペース西です。
>日本ヤフーや米国ヤフーから株価データをダウンロードすると、十数件から数十件で読み込み制限で待機していますが、
>これはヤフーから制限が掛かったことを受けて待機しているのでしょうか?
はい、その通りです。
どこのヤフーの制限かは、最下行へ表示しています。
>それとも、プログラムの方で「〇〇件取得したら、〇〇秒待機」という形にしているのでしょうか?
制限が掛かれば、定期的に解除されたかを監視し、解除が確認できれば読込を再開します。
>私がGASで日本のヤフーから株価データ等をダウンロードすると200件くらいまでは、一気にダウンロードできていますので、
>もし「〇〇件取得」という制限をかけているのであれば、1バッチ190件くらいで試していただけないかと考えています。
>※200件超えると制限がかかるような感じです。
ご提案、ありがとうございます。
ただ、ヤフーの制限仕様は時々変更になります。
制限件数を固定すると、都度プログラムの修正が必要になります。
それと、仮に制限を受けない190件で休息しても、+10〜50件で直ぐ制限に掛かります。
言い換えると、制限まで読込、解除を待つのが現時点では一番高速と判断しています。
>もしくは、(ブラウザみたいな)ヘッダー偽装をして、1件毎に0.8秒〜2秒くらいのインターバルをランダムに入れると読み込み制限を突破できていますが、
>そのような形にプログラムを改良していただけないしょうか?
素晴らしいアイデア、ありがとうございます。
実際に制限を突破されているようで素晴らしい技術です。
研究させて頂きます。
>無尽蔵でのデータ取得は早くて良いのですが、19時か20時くらいにならないと当日データが取得できないんですよね?
はい、その通りです。
無尽蔵さんの作業が終わらないと読込できません。

編集