Pythonで複数のプロセスで同じファイルへの書き込みを実現の方法

1年 ago
綾乃, 一希
1 minute

Pythonでは、multiprocessingモジュールを使用して、複数プロセスによる同一ファイルへの書き込みを行うことができます。

次の例は、マルチプロセスを使用して同じファイルに同時に書き込む方法を示しています。

import multiprocessing

# 定义一个写入文件的函数
def write_file(filename, content):
    with open(filename, 'a') as f:
        f.write(content)

if __name__ == '__main__':
    # 定义要写入的文件名和内容
    filename = 'output.txt'
    content = 'Hello, World!\n'

    # 创建一个进程池
    pool = multiprocessing.Pool()

    # 使用进程池执行多个写入文件的任务
    for i in range(10):
        pool.apply_async(write_file, args=(filename, content))

    # 关闭进程池，并等待所有任务完成
    pool.close()
    pool.join()

上の例では、まずwrite_fileというファイルの内容を書き込む関数定義があり、with句を使ってファイルを開いて内容を書き込んでいます。

その後、主プロセスにおいて、プロセスプールpoolを作成し、pool.apply_asyncメソッドを用いて、ファイルに書き込む複数のタスクを非同期で実行しています。

最後に、pool.close() で プロセスプールを閉じ、pool.join() で すべてのタスクが完了するまで待ちます。

複数のプロセスが同時に同じファイルに書き込みできる。ただし、複数のプロセスが同時に同じファイルに書き込むと競合状態が発生する可能性があるため、ファイルに書き込むときは、適切な同期待合によってデータの破損を防ぐ必要があることに注意する。

bannerAds