Golangで100万の同時リクエストを処理するための解決策

2年 ago
夏樹, 風
1 minute

Go言語では、goroutineとchannelを利用することで、数百万の同時リクエスト処理を実現できます。その解決策の一例を以下に示します。

  1. リクエストキューを作成し、送信する必要があるリクエストをキューに挿入します。
  2. 応答を受け取るための結果キューを作成する。
  3. Goroutineを使って複数のワーカー（処理系）を立ち上げ、各ワーカーがリクエストキューからリクエストを取得し、リクエストを送信してレスポンス結果を結果キューに入れるようにする。
  4. カウンターを使用して、ワーカーコルーチンの完了状態を追跡する。
  5. すべてのリクエストが完了するまで、無限のループを使用して結果キューから応答結果を継続的に取得する。
  6. メインコルーチンで、全てのワーカーコルーチンが終了するのを待つ。

以下のコード例を示します。

package main

import (
	"fmt"
	"net/http"
	"sync"
)

func worker(requests <-chan string, results chan<- string, wg *sync.WaitGroup) {
	defer wg.Done()

	for req := range requests {
		resp, err := http.Get(req)
		if err != nil {
			results <- fmt.Sprintf("Error: %s", err.Error())
		} else {
			results <- fmt.Sprintf("Response: %s", resp.Status)
		}
	}
}

func main() {
	numWorkers := 100
	numRequests := 1000000

	requests := make(chan string, numRequests)
	results := make(chan string, numRequests)

	var wg sync.WaitGroup
	wg.Add(numWorkers)

	// 启动工作协程
	for i := 0; i < numWorkers; i++ {
		go worker(requests, results, &wg)
	}

	// 填充请求队列
	for i := 0; i < numRequests; i++ {
		requests <- "https://example.com"
	}

	close(requests)

	// 等待所有工作协程完成
	go func() {
		wg.Wait()
		close(results)
	}()

	// 处理结果队列
	for res := range results {
		fmt.Println(res)
	}
}

この例では、100万の同時リクエストを処理するために100個のワーカーコルーチンが使用されました。各ワーカーコルーチンはリクエストキューからリクエストを取得し、リクエストを送信し、結果を結果キューに入れます。メインコルーチンは全てのワーカーコルーチンが完了するまで待機し、結果キューから結果を取得して出力します。

これらのサンプルではリクエストキュー、結果キューともに、ブロッキングを防ぐためにバッファーつきチャンネルを使用することに注意してください。実世界のデータによっては队列サイズをキューの負荷に合わせて調整できます。

実運用に応じて、接続プールを使用したり、タイムアウト時間を調整したりすることで、同時リクエスト処理を最適化します。

bannerAds