SQSのVisibility Timeoutを理解する：二重処理を前提に安全なワーカーを作る

Amazon SQSでワーカーを作るときに重要なのがVisibility Timeoutです。

Visibility Timeoutは、メッセージを受信したワーカーが処理している間、そのメッセージを他のワーカーから一時的に見えなくする時間です。

基本の流れ

つまり「受信したら消える」のではなく、正常終了後に明示的に削除する仕組みです。

処理に60秒かかるのにVisibility Timeoutが30秒だと、最初のワーカーがまだ処理中でもメッセージが再表示されます。

その結果、別ワーカーも同じメッセージを処理し、二重実行が発生する可能性があります。

逆に30秒で失敗を検知できる処理なのにVisibility Timeoutを30分にすると、失敗したメッセージの再試行まで長時間待つことになります。

処理時間の実測値を基準に、十分な余裕を持たせつつ長くしすぎない値にします。

処理時間が一定でない場合はChangeMessageVisibilityで途中からVisibility Timeoutを延長できます。

JavaのAWS SDKでは、処理中に定期的に延長する構成も可能です。

ただし無限に延長するのではなく、最大処理時間を決め、異常な処理は失敗として扱う方が運用しやすくなります。

SQS Standard Queueは少なくとも1回配送される設計です。そのためVisibility Timeoutを適切に設定しても、同じメッセージが複数回届く可能性をゼロにはできません。

そこでワーカー側を冪等にします。

冪等とは「同じ処理を複数回実行しても結果が壊れない性質」です。

例えば注文IDをDBに記録し、処理済みなら再実行しない方法があります。

何度処理しても失敗するメッセージはDLQ（Dead Letter Queue）へ送ると調査しやすくなります。

Visibility Timeout、再試行回数、DLQをセットで設計すると、失敗時の挙動が明確になります。

SQSでは「一度受信したから一度しか処理されない」と考えないことが重要です。