Python スレッドプールで要求が同時発生する問題をどう解決できますか。

Pythonで、並行してリクエストデータを処理するスレッドプールを作成するには、concurrent.futuresモジュールのThreadPoolExecutorクラスを使用できます。

以下に、スレッドプールを使って非同期でデータをリクエストする方法を示すサンプルコードを示します。

from concurrent import futures
import requests

# 定义请求函数
def get_data(url):
    response = requests.get(url)
    return response.text

# 定义主函数
def main():
    # 创建线程池
    with futures.ThreadPoolExecutor(max_workers=5) as executor:
        # 定义要请求的URL列表
        urls = [
            'http://example.com/page1',
            'http://example.com/page2',
            'http://example.com/page3',
            'http://example.com/page4',
            'http://example.com/page5'
        ]
        
        # 提交任务到线程池
        results = [executor.submit(get_data, url) for url in urls]
        
        # 获取任务结果
        for future in futures.as_completed(results):
            try:
                data = future.result()
                # 处理获取到的数据
                print(data)
            except Exception as e:
                # 处理任务执行异常
                print(f'Error occurred: {e}')

# 调用主函数
if __name__ == '__main__':
    main()

上記のサンプルコードでは、最初にget_data関数を定義してリクエストを送信し、レスポンスデータを返します。次に、メイン関数mainで、スレッドプールを作成し、リクエストするURLのリストを定義します。executor.submitメソッドを使用して、get_data関数をスレッドプールに送信し、Futureオブジェクトを返します。futures.as_completed関数は、Futureオブジェクトリストを反復処理し、完了したタスクの結果を取得するために使用できます。最後に、取得したデータを処理するか、タスクの実行例外を処理します。

このように、スレッドプールを利用する方法で、並列にデータを取得するという問題を解決できます。