Python開発入門53 multiprocessing入門！効率的な並列処理を実現する方法

Python

はじめに

PythonでCPUバウンドタスク（計算負荷の高い処理）を効率化するには、multiprocessingモジュールを活用した並列処理が有効です。これは、複数のプロセスを利用して、Pythonのグローバルインタプリタロック（GIL）の制約を回避し、完全な並列処理を可能にします。

この記事では、multiprocessingの基本概念や主要な機能をわかりやすく解説します。

multiprocessingとは

multiprocessingの概要

multiprocessingモジュールは、Pythonの標準ライブラリに含まれるモジュールで、以下の特徴を持っています：

  • プロセスを使った並列処理:
    各プロセスが独立して動作するため、CPUリソースを最大限に活用可能。
  • スレッドより安全:
    プロセス間でメモリ空間が分離されるため、データ競合が発生しにくい。
  • 柔軟なデータ通信機能:
    プロセス間でのデータ共有が可能（Queue、Pipeなど）。

multiprocessingの主な特徴

  1. 完全な並列性
    GILの影響を受けずにタスクを並列実行。
  2. プロセス間通信のサポート
    QueueやPipeを使った安全なデータ通信が可能。
  3. プールを使った並列化
    ワーカープロセスを効率的に管理できる。

multiprocessingの基本的な使い方

基本的なプロセスの作成

multiprocessingでは、Processクラスを使用して新しいプロセスを作成します。

例：基本的なプロセスの作成
from multiprocessing import Process

def worker_function():
    print("ワーカープロセスが実行されました！")

if __name__ == "__main__":
    process = Process(target=worker_function)
    process.start()
    process.join()

説明：

  • Process: 新しいプロセスを作成するクラス。
  • start(): プロセスを開始します。
  • join(): プロセスの終了を待機します。

複数のプロセスを実行

複数のプロセスを同時に実行する方法を紹介します。

例：複数プロセスの作成
from multiprocessing import Process

def print_message(message):
    print(f"メッセージ: {message}")

if __name__ == "__main__":
    processes = []
    for i in range(5):
        process = Process(target=print_message, args=(f"プロセス {i+1}",))
        processes.append(process)
        process.start()

    for process in processes:
        process.join()

プロセス間通信

Queueを使ったデータ共有

Queueを使うと、プロセス間で安全にデータを共有できます。

例：Queueを使ったデータ共有
from multiprocessing import Process, Queue

def producer(queue):
    for i in range(5):
        queue.put(i)
        print(f"データ {i} を追加しました")

def consumer(queue):
    while not queue.empty():
        data = queue.get()
        print(f"データ {data} を取得しました")

if __name__ == "__main__":
    queue = Queue()
    producer_process = Process(target=producer, args=(queue,))
    consumer_process = Process(target=consumer, args=(queue,))

    producer_process.start()
    producer_process.join()

    consumer_process.start()
    consumer_process.join()

Pipeを使ったデータ通信

Pipeは、プロセス間で双方向通信が可能な仕組みを提供します。

例：Pipeを使った通信
from multiprocessing import Process, Pipe

def sender(pipe):
    pipe.send("こんにちは、プロセス間通信！")
    pipe.close()

def receiver(pipe):
    message = pipe.recv()
    print(f"受信メッセージ: {message}")

if __name__ == "__main__":
    parent_conn, child_conn = Pipe()
    sender_process = Process(target=sender, args=(child_conn,))
    receiver_process = Process(target=receiver, args=(parent_conn,))

    sender_process.start()
    sender_process.join()

    receiver_process.start()
    receiver_process.join()

プロセスプールの利用

プールを使ったタスクの並列化

Poolクラスを使うと、複数のタスクを効率的に並列処理できます。

例：プールでの並列処理
from multiprocessing import Pool

def square(x):
    return x * x

if __name__ == "__main__":
    with Pool(4) as pool:
        results = pool.map(square, [1, 2, 3, 4, 5])
        print(results)

説明：

  • Pool.map(): リストの各要素に対して関数を並列適用します。
  • with Pool(): プールを自動的に管理します。

非同期タスクの実行

非同期タスクを実行するには、apply_asyncを使用します。

例：非同期タスクの実行
from multiprocessing import Pool

def square(x):
    return x * x

if __name__ == "__main__":
    with Pool(4) as pool:
        result = pool.apply_async(square, (5,))
        print(result.get())

multiprocessingを使う際の注意点

  1. グローバル変数の扱いに注意
    各プロセスは独立しているため、グローバル変数は共有されません。
  2. プロセス数の適切な設定
    プロセス数はCPUコア数に基づいて設定すると効果的です。
  3. リソース消費の最適化
    プロセス間通信でリソースを使いすぎないように設計することが重要です。

まとめ

Pythonのmultiprocessingモジュールは、CPUバウンドタスクを効率的に処理するための強力なツールです。この記事で紹介した基本操作や応用例を参考に、プロジェクトに最適な並列処理を実現してください。

コメント