Go言語で並列のネットワーク要求のフロー制御の問題をどのように処理するか

2年 ago
陽, 向宇
1 minute

Go言語で並列ネットワークリクエストのフロー制御に対処するには、以下の手法を使用できます。

  1. Go言語のgoroutineとchannelの仕組みを利用する: goroutineを作成して並列してリクエストを処理し、channelを使用して並列数を制御します。固定サイズのchannelを作成することができ、各リクエストはchannelに信号を送信します。channelがいっぱいになると、新しいリクエストは空いているchannelの場所ができるまでブロックされます。これにより並列リクエストの数を制限し、過剰なリクエストがシステムリソースを使い果たすのを防ぐことができます。

以下にコードのサンプルを示します。

package main
import "fmt"
func main() {
maxConcurrency := 10
concurrencyCh := make(chan struct{}, maxConcurrency)
urls := []string{"http://example.com", "http://example.org", "http://example.net"}
for _, url := range urls {
// Acquire channel position
concurrencyCh <- struct{}{}
go func(url string) {
// Process the request
// ...
// Release channel position
<-concurrencyCh
}(url)
}
// Wait for all requests to complete
for i := 0; i < maxConcurrency; i++ {
concurrencyCh <- struct{}{}
}
}
  1. 非同期リクエストの実行待ちにGoのsync.WaitGroupを使用する：sync.WaitGroupを使用して全てのリクエストの実行待ちを行うことができ、Addメソッドで待機数を増やし、Doneメソッドで待機数を減らし、Waitメソッドで全てのリクエストの実行が完了するまでメインゴルーチンをブロックできます。

ネイティブ日本語で言い換えた次のとおりです。

package main
import (
"fmt"
"sync"
)
func main() {
var wg sync.WaitGroup
maxConcurrency := 10
urls := []string{"http://example.com", "http://example.org", "http://example.net"}
for _, url := range urls {
// Increment wait group counter
wg.Add(1)
go func(url string) {
defer wg.Done()
// Process the request
// ...
}(url)
}
// Wait for all requests to complete
wg.Wait()
}

以上の手順により、並列ネットワーク要求のトラフィックを効果的に制御でき、要求過多によるシステムリソースの枯渇を防げます。

bannerAds