多スレッドを利用してファイルをどのように読み込むかpythonでの方法

2年 ago
芽依, 雨夜
1 minute

パイソンでマルチスレッドを使用してファイルを読み込むことで、ファイル読み込みの効率が向上します。以下に簡単な例を示します。

import threading

def read_file(file_name):
    with open(file_name, 'r') as file:
        # 读取文件的操作
        content = file.read()
        print(content)

if __name__ == "__main__":
    file_names = ["file1.txt", "file2.txt", "file3.txt"]

    threads = []
    for file_name in file_names:
        thread = threading.Thread(target=read_file, args=(file_name,))
        thread.start()
        threads.append(thread)

    for thread in threads:
        thread.join()

上のサンプルコードでは、まずファイルをよみこむ操作を行うread_file関数を定義します。次に、メインプログラムで、よみこむファイル名のリストを含んだfile_namesリストを定義します。その後、ループによって、複数のスレッドを作成し、それぞれのスレッドがread_file関数をよび、引数として異なるファイル名を渡します。最後に、startメソッドとjoinメソッドをよびだして、すべてのスレッドを開始し、終了するのを待ちます。

マルチスレッドでファイルを読み込む際は、マルチスレッドにすることでファイル読み込み効率化が期待できますが、ファイルのサイズが小さい場合にはマルチスレッドによるスレッド切り替えのオーバーヘッドが足を引っ張る可能性があります。そのため、マルチスレッドでのファイル読み込みを行うかどうかは、具体的な利用シーンやニーズに応じて判断・選択することが必要です。

bannerAds