ISUCON14の参考環境で、Go実装のスコアを 95,656点から567,276点 まで改善しました。最終runはpass=trueで、ベンチマーカーのerror mapはmap[17:6 24:1]でした(542,441点を記録した版からさらに4.6%上積みしています)。
この記事では、自作の計測ツールisutoolsで何を観測し、どの修正を選び、スコアとcorrectnessがどう変わったかを時系列でまとめます。50万点を超えていてもcorrectnessでfailしたrunは採用せず、採否の判断基準も記録しました。
ISUCON14のスコア推移。合格した採用runを緑の線、correctnessでfailした実験を赤い印で示しています
各変更は1コミットに分け、1修正ごとにベンチマークを走らせてpass=trueを確認してからartifactを保存しています。
最終結果
| 項目 | 結果 |
|---|---|
| 復旧後の比較可能なbaseline | 95,656 |
| 最終スコア | 567,276 |
| baseline比 | +493.0% |
| 直前の有効最高 | 556,898 |
| 直前比 | +1.86% |
| correctness | pass=true |
| app commit | c8a5d4a |
| artifact ID | 20260806-225651.942413996-000001 |
最終版では、POST /api/chair/coordinateを191,528件処理しながら平均2.2msに収めています。DB pool waitは65,991件(1回あたり平均14.0ms)、CPUはbusy 65.2%・idle 34.7%でした。
計測環境
今回の構成はISUCON14の参考環境をWSL2上でsystemd管理したものです。
| 項目 | 構成 |
|---|---|
| application | Go、/home/isucon/webapp/go |
| reverse proxy | nginx、TLS終端、upstreamはUNIX domain socket |
| database | MySQL |
| service | isuride-go.service、isuride-matcher.service |
| benchmark | /home/isucon/bench run |
| isutools | 127.0.0.1:19191、SSH port forwardで閲覧 |
ベンチマーカーのpayment mockはrunごとに未使用ポートを割り当てます。開始直後にss -ltnpでlisten状態を確認し、前回プロセスやポート競合の影響を防ぎました。
isutoolsによる計測と履歴管理
isutoolsは、SQL、HTTP、nginx access log、DB pool、プロセスCPU、ホストCPU、DBスキーマ、クエリ実行計画を1つのHTMLに保存します。ベンチ終了後にスコアを付けて保存すると、実行時刻、revision、score、diffへのリンクが一覧に残ります。
isutoolsの実行履歴一覧。542,441点までのスコアとrevisionが新しい順に並んでいます
実行履歴には採用runだけでなく退行やfailも残しています。またレポートの先頭には、HTTP需要、SQL需要、5xx/499、CPU、DB pool、SQL行効率、Host I/Oを一覧表示します。
542,441点runのisutools Bottleneck Overview。HTTP、SQL、CPU、DB pool、I/Oを同じ表で確認できます
たとえば542,441点runの最大HTTP累計時間はnotificationですが、これは変更待ちのlong pollingによる待機時間の合計です。CPU使用率、DB wait、リクエスト数、状態通知遅延を併記することで、単純な待機時間と実負荷を区別して読み取れます。
スコアの時系列
主要な合格runを抜き出すと、次の通りです。
| 段階 | 主な変更 | score | gate |
|---|---|---|---|
| 0 | 計測・サービス復旧後 | 95,656 | pass |
| 1 | rolling Hungarian | 102,260 | pass |
| 2 | matcher入力cache | 149,780 | pass |
| 3 | nearby位置・availability整理 | 210,955 | pass |
| 4 | 距離correctness修正 | 218,468 | pass |
| 5 | notification response cache | 236,006 | pass |
| 6 | matcher周期を100msへ | 285,746 | pass |
| 7 | coordinate transaction短縮 | 309,372 | pass |
| 8 | owner距離の増分管理 | 325,004 | pass |
| 9 | ride statusをmemoryから通知 | 359,732 | pass |
| 10 | chair ACK後にnearby公開 | 392,520 | pass |
| 11 | matcher周期を10msへ | 437,852 | pass |
| 12 | payment transaction短縮 + 100ms visibility grace | 542,441 | pass |
| 13 | matching再公開とnearby再公開を分離 | 567,276 | pass |
1. SQLインデックスとN+1クエリの整理
初期段階では、chairs、chair_locations、rides、ride_statuses、couponsに必要な複合インデックスを追加し、GET /api/app/nearby-chairsとowner系エンドポイントのN+1クエリを一括取得SQLへ変更しました。
この段階では、1本の重いSQLだけでなく、notification pollingから高頻度で呼ばれる短いSQLの実行回数もボトルネックになっていました。1msのSQLでも数十万回実行されればDBプールを占有するため、以降は「1回の実行時間」と「回数による累計時間」を分けて確認しています。
2. 1件ずつのマッチングからRolling Hungarianへの移行
初期のmatcherは500msごとに1件のrideだけを割り当てていたため、未割当rideと空きchairが複数あっても割当ての上限は約2件/秒でした。
そこで、未割当rideとfree chairをウィンドウでまとめて取得し、距離とchairモデルの移動速度をコストにしたハンガリアン法(rolling Hungarian)で一括割り当てする方式へ変更しました。ISURIDEには2つの地域があるため、遠すぎるchairを無理に割り当てず、一定時間待ったrideだけをstarvation fallbackで救済する条件も入れています。
3. マッチング軌跡の可視化(Trajectory Viewer)
スコアだけでは2地域間でどのような割当てが起きたかを把握しにくいため、chair、pickup、destination、assignmentイベントを再生できるtrajectory viewerをisutoolsへ追加しました。
ISUCON14のtrajectory viewer。2地域のchair軌跡、pickup、destination、assignmentを同じ画面で再生できます
このスナップショットでは、540台のchair、115,875座標点、3,678件のride、3,307件のassignmentを表示しています。可視化によって旧コスト関数で2地域間の長距離dispatchが発生していたことが判明し、距離上限の調整につながりました。なお、128件のrideをDBトランザクション内で一括解決する案はDBプール待ちが増えてスコアが187,425点へ低下したため、トランザクション境界を短く保つ構成を採用しています。
4. Notificationのキャッシュとイベント駆動Long Polling化
ISUCON14では30msが1 tickとなっており、appとchairのnotificationが高頻度で呼ばれます。毎回DBから同じride statusを組み立てる処理がDBプールを占有していました。
まずride単位のgenerationを持つレスポンスキャッシュを導入し、status挿入・chair割当て・ride更新時にgenerationを進めるようにしました。app_sent_atまたはchair_sent_atが未送信の場合はキャッシュせず、キューを排出してから再利用します。
続いて、状態変化がない区間のnotificationをイベント駆動のlong pollingへ変更しました。変更前はapp notificationが約155万回、chair notificationが約37.9万回呼ばれていましたが、変更後はそれぞれ約14.5万回、約5.6万回まで減少しました。
5. CoordinateとStatus更新のインメモリ化
chairはPOST /api/chair/coordinateの応答が返るまで次の移動を始めないため、このエンドポイントのレイテンシはride完了数に直結します。以下の順で同期処理を削減しました。
INSERT直後に同じ座標行をSELECTする処理を削除- 通常の位置更新から長いトランザクションを除外
- 最新座標と最新ride statusをプロセスメモリに保持
- owner向けのchair総走行距離(
GET /api/owner/chairs)を、毎回のLAG集計からinitialize時の初期計算+座標更新時のマンハッタン距離の増分加算へ変更
325,004点時点ではcoordinateが107,643回・平均73.6msでしたが、最終runでは191,528回・平均2.2msとなり、処理件数が77.9%増えながら平均レイテンシは97.0%短縮されました。GET /api/owner/chairsも平均2.2msで応答しています。
6. Matcher実行周期の短縮(100ms → 10ms)
matcher自体の処理を軽量化した後、実行周期を100msから10msへ短縮しました。ベンチマーカーの30ms tickより細かくウィンドウを更新することで、空きchairを次の割当てへ取り込むまでの待ち時間を減らしています。この変更でスコアは389,614点から437,852点へ伸びました(最終runのGET /api/internal/matchingは1,526回、平均19.4ms)。
7. PaymentリクエストのDBトランザクション外への移動
POST /api/app/rides/:id/evaluationでは、外部payment gatewayへのHTTPリクエストをDBトランザクション内で実行していました。決済応答を待つ間もコネクションと行ロックを保持するため、DBプール待ちの大きな要因になっていました。
修正後は、Idempotency-Keyにride IDを設定して決済リクエストを先に実行し、成功後に短いトランザクションを開いて対象rideのFOR UPDATE・evaluation更新・COMPLETED確定だけを行うようにしました。
この変更単体ではraw scoreが591,636点まで伸びたものの、correctnessエラー(code 30)が205件発生しました。サーバー側のCOMPLETED確定とchairの再公開が速くなったことで、ベンチマーククライアントがevaluation応答を受け取る前にchairが再公開されてしまったためです。そこで、chairがCOMPLETEDをACKした後100msだけ再利用を遅らせる猶予(visibility grace)を入れたところ、correctnessを通過して542,441点を記録しました。
8. Matching再公開とNearby再公開の分離
542,441点版では、同じunavailableChairsフラグをmatcherとGET /api/app/nearby-chairsの両方で参照していたため、nearbyの整合性維持に必要な100msの猶予が次のマッチング割当てまで止めていました。
そこで、COMPLETED応答後はmatcherに対して即座にchairを再公開し、nearby-chairsに対してのみ「次のchair notificationリクエストが届くまで」非表示にするよう分離しました。次のリクエスト到達を、クライアントが前回のCOMPLETED応答を処理し終えた確認として利用する形です。
この分離により、code 30を0件に保ったままスコアは 567,276点(pass=true)へ到達しました。直前の556,898点runと比較すると、assignment数は10,381件から10,760件へ3.7%増加し、マッチング待ち時間の中央値は7.34秒から5.95秒へ19.0%短縮されています。
95,656点時のコミットを再生した初期版と567,276点の最終版について、割り当てを同一座標・同一時間軸で比較したGIF
上のGIFは、初期版(左:95,656点時のコミット72d840f)と最終版(右:567,276点)のマッチング割当てを同一座標・60秒正規化で比較したものです。初期版では割当て1,810件のうち地域間割当て(距離400以上)が491件発生し、pickupまでの平均距離は211.3でしたが、最終版では割当て10,760件、地域間割当て0件、pickupまでの平均距離13.25となっています。
スコアが高くても不採用にした実験一覧
| commit | raw score | error | 判断 |
|---|---|---|---|
e63bb26 | 591,636 | code 30 ×205 | 不採用 |
54f5f85 | 561,815 | code 30 ×196、code 31 ×313 | 不採用 |
c4d8de8 | 519,270 | code 30 ×244、code 31 ×19 | 不採用 |
4790b53 | 637,737 | code 30 ×13、pass=true | soft errorが増加したため不採用 |
3bf5e49 | 543,359 | code 30なし、pass=true | 安全だがスループットが低下したため不採用 |
c8a5d4a | 567,276 | code 30なし、pass=true | 採用 |
4a07343 | 546,855 | DB pool 100→200、pass=true | スコア退行のためrevert |
最終レポートの内訳と他の記録との比較
| signal | 最終run |
|---|---|
| app notification | 179,908 calls、平均695.0ms(long polling待機を含む) |
| chair notification | 109,885 calls、平均270.7ms(long polling待機を含む) |
| evaluation | 9,336 calls、平均493.4ms |
| nearby chairs | 74,878 calls、平均16.6ms |
| coordinate | 191,528 calls、平均2.2ms |
| matcher | 1,526 calls、平均19.4ms |
| DB pool | 65,991 waits、平均14.0ms |
| host CPU | busy 65.2%、idle 34.7% |
traPの「ISUCON14感想戦で40万点超えました」(417,923点)と比較すると、coordinate・ride status・active chairをDBのホットパスから外す方針は共通しています。一方、今回の実装ではJSON APIとMySQLの永続化構成を維持したまま、地域間ディスパッチ抑制付きのrolling Hungarian、matchingとnearbyの再公開境界分離、assignment軌跡の可視化によって567,276点まで伸ばしました。
| 観点 | 今回の実装(567,276点) | traPの実装(417,923点) |
|---|---|---|
| notification | JSON APIを維持し、generation付きキャッシュ+event-driven long polling | SSEとin-process event bus |
| matching | 2地域の距離上限、starvation救済、10ms周期のrolling Hungarian | 経過時間を含むpriority調整 |
| coordinate | MySQL履歴を残し、最新位置と総距離をメモリで増分管理 | chair locationの主データをBadgerへ移行 |
| availability | matching再公開とnearby再公開を別のACK境界で管理 | active chairとride statusのメモリキャッシュ |
| 可視化・計測 | assignment軌跡ビューア、前後比較GIF、isutoolsによる実行単位の証跡保存 | Prometheus + Grafanaによる状態分布の可視化 |
まとめ
ISUCON14のGo参考実装を95,656点から 567,276点(pass=true、baseline比 +493.0%)まで改善しました。
- バッチ割当て化: 1件ずつの割当てを距離上限付きrolling Hungarianへ変更し、周期を10msへ短縮
- DBポーリングの削減: notificationをgeneration付きキャッシュとevent-driven long pollingへ移行
- クリティカルパスの軽量化: coordinate更新・ride status・総走行距離をメモリ増分管理にし、平均2.2msへ短縮
- トランザクション境界の分離: 外部決済をDBトランザクション外へ出し、matching再公開とnearby再公開の境界を分離して観測順序の不整合(code 30)を解消
全コミット、artifact ID、不採用runの詳細は isutools リポジトリ に公開しています。