LP(ランディングページ)のA/Bテストや行動計測を設計するとき、いきなりGA4のイベント定義から始めると、事業の成果と結びつかない指標を追いかけてしまいがちです。この記事では、KPI定義書を5回改訂する中で整理した、KGI・暫定NSM・イベント設計・テスト中止基準・ビジネスインパクト試算までの手順をまとめます。
[KGI: 月間有料契約数の増加(外部申込サイト)]
▲
│ 相関検証 (r > 0.7)
[Primary KPI / 暫定NSM: アウトバウンド遷移率 (outbound_click / eligible_sessions)]
▲
┌────────────┴───────────────────────────┐
[Secondary KPI: ファネル遷移] [Guardrail / 中止基準]
├─ bubble_click (Stage 3) ├─ 直帰率悪化 (> +5pt)
├─ conversation_start (Stage 4) ├─ チャットエラー率 (> 5%)
└─ option_select (Stage 5) └─ INP悪化 (> +500ms)1. KGIから始め、計測できない場合は「暫定NSM」を置く
KGIは「このLPが存在する事業上の目的」を数値化したものです(例:月間の有料契約数を増やす、MRRを上げる)。ここで実務上よく起きるのが、KGIがLPの中では完結しないという問題です。
たとえば、ユーザーがLPから外部の申込サイトへ遷移して契約する場合、申込サイトの計測データが別部署・別ドメインのGA4プロパティにあり、LP側からは契約完了を直接計測できないことがあります。このとき陥りやすい失敗が2つあります。
- 計測しやすい手前の数字だけをKPIにする: チャット開始数などを主指標にすると、チャットが100回開かれても契約が0件という状態を見落とします。
- 計測できないKGIをそのままNorth Star Metric(NSM)に置く: 毎週の定例で「外部データがまだ連携されていないため進捗不明」となり、意思決定に使えません。
この場合は、自サイト内で計測でき、かつKGIとの因果関係が明確な代理指標を 暫定NSM として置きます。
KGI: 月間契約数の増加(最終ゴール)
最終NSM: 月間契約完了数(外部データ連携後に移行)
暫定NSM: アウトバウンド遷移率(自サイト内で計測可能)
昇格条件: 暫定NSMと契約完了数の相関 r > 0.7暫定NSMを選ぶ基準は、「自チームで計測できること」「KGIとの因果を説明できること」「施策によって動かせること」 の3点です。
2. データを見る前に仮説を因果チェーンで書く
KGIと暫定NSMが決まったら、ファネルを定義する前に施策の仮説を因果チェーンとして書き出します。
[介入] → [行動変化] → [KPI変化] → [KGI変化]対象プロジェクト(LPへのAIチャットウィジェット導入)では、次のように定義しました。
AIチャットウィジェットを設置する → ユーザーが自分に関連する情報を見つけやすくなる → サービス詳細ページへの到達率が上がる → 外部の申込サイトへの遷移率が上がる → 契約数が増える
この各矢印が検証すべき仮説であり、各段階の数値がKPIになります。先に因果チェーンを定義してからKPIを決めることで、「測りやすいだけの指標」が主指標に混ざるのを防げます。
3. GA4の直帰率をA/Bテストの判定指標にしてはいけないケース
対象サイトの過去90日間のGA4データは以下の通りでした。
広告LPの直帰率64.3%、トップページ76.6%という数字を見て、初版の定義書では「直帰率の改善」をPrimary KPIに置いていました。しかし、これにはGA4の仕様上の落とし穴があります。
GA4における「直帰」は「エンゲージメントのあったセッション(engaged session)ではないセッション」と定義されており、キーイベントが1回でも発火すると自動的にengaged sessionとして扱われます。つまり、B群(テスト群)にのみチャットウィジェットを追加し、そのクリックや操作をイベント計測した時点で、実際のユーザー体験が変わっていなくてもB群の直帰率は構造的に下がります。
そのため、直帰率はテストの勝敗を決めるPrimary KPIから外し、「B群の直帰率がA群より5ポイント以上悪化したらテストを即時中止する」というガードレール(中止基準)としてのみ使用するように変更しました。
4. 上流と下流のギャップからボトルネックを特定する
トップページの直帰率は76.6%(平均滞在3.9秒)でしたが、同じサイト内の記事ページは直帰率16〜24%・平均滞在70〜141秒でした。記事に辿り着いたユーザーは平均90秒以上読んでおり、コンテンツ自体の関心度は高いことがわかります。
つまり課題はトップページ単体の滞在時間ではなく、トップページから適切な詳細記事・サービスページへ案内する導線にありました。
5. Primary KPIは「両群で同じ基準で測れる意思表示」を1つだけ選ぶ
A群(チャットなし)とB群(チャットあり)を比較する以上、「チャット開始率」はA群が定義上0%になるため主指標には使えません。「セッション滞在時間」もチャット操作の時間が加算されるため比較には不向きです。
最終的にPrimary KPIとして選んだのは アウトバウンド遷移率 でした。
また、Primary KPIは1つだけに絞りました。主指標を複数置くと、テスト終了後に有意差が出た指標だけをつまみ食いして「成功」と解釈する多重比較の問題が生じるためです。
6. 1イベント=1行動に分割する
初版では user_engage という1つのイベントに「バブルクリック」「iframeフォーカス」「選択肢クリック」の3つをまとめていました。しかしこれでは、数値が動いたときに「チャットを開く人が増えた」のか「開いた人が複数回クリックした」のかを区別できません。
最終版では、ファネルの段階ごとにイベントを5つへ分割しました。
これにより、「バブルクリック後のUIで離脱しているのか」「会話開始後の選択肢提示で離脱しているのか」を段階別に切り分けられるようになります。
7. 分母・分子と解析単位を厳密に揃える
KPIを定義する際は、分母・分子・集計単位を明文化します。
- 分子: イベント総数ではなく、「対象イベントが1回以上発火したユニークセッション数(またはユニークユーザー数)」とする(1セッションで3回クリックしても1として数える)。
- ランダム化単位と解析単位の一致: A/Bテストの振り分けがユーザー単位(Cookie)である場合、同一ユーザーの複数セッションは独立ではありません。そこで「ユーザーあたり最初のeligible sessionのみを主解析、全セッションを補助解析」と定義し、サンプルサイズ計算の前提と揃えました。
8. テスト開始前に「中止基準」と「意思決定マトリクス」を決める
テストを始める前に、どのような数値が出たらテストを止めるか(ガードレール)と、結果に応じて次にどのアクションを取るかを定義しておきます。
テスト終了後の判断も、統計的有意差()だけでなく 実務上の最小効果量(絶対差 ) を組み合わせて4パターンに分けました。
有意 (p < 0.05) かつ 効果大(絶対差 >= 0.5pt)
→ 本番ロールアウトし、次のシナリオ改善テストへ進む
有意 (p < 0.05) だが 効果小(絶対差 < 0.5pt)
→ 運用コストを回収できないためロールアウトせず、導線・UIを改善して再テスト
有意差なし
→ 施策見送り。LP本体のファーストビュー・CTA改善へ方針転換
B群が悪化
→ 即時停止し、UXを見直す9. ドキュメントを「意思決定パート」と「実装パート」に分ける
KPI定義書の読者は 意思決定者(事業責任者・サイトオーナー) と 実装者(エンジニア・アナリスト) の2者に分かれます。分析した順番(GA4プロパティIDやGTMトリガー仕様)から書き始めると、意思決定者は冒頭で読むのをやめてしまいます。
そこでドキュメントを前後半の2部構成に分けました。
前半: 意思決定パート
1. エグゼクティブサマリー(施策概要・期待インパクト・判断基準を1ページに集約)
2. なぜこの施策を行うのか(課題と因果チェーン)
3. 何をもって成功とするか(Primary KPI・中止基準・意思決定マトリクス)
4. 承認・依頼事項
後半: 実装パート
5. KPI定義詳細(分母・分子・除外条件)
6. ファネルと目標値
7. GA4 / GTM イベント設計
8. 実装タスクと優先度10. ビジネスインパクトを金額(円)で試算する
計測設計とあわせて、「遷移率が何ポイント改善すると、月間でいくらの収益インパクトになるか」を試算しておきます。以下の計算機では、各段階の仮定値を動かして月間・年間の期待インパクトを確認できます。
| 変換率\改善 | +20% | +30% | +50% | +75% | +100% |
|---|---|---|---|---|---|
| 20% | 25.2 | 39.6 | 64.8 | 97.2 | 130 |
| 30% | 39.6 | 57.6 | 97.2 | 146 | 194 |
| 40% | 52.2 | 77.4 | 130 | 194 | 259 |
| 50% | 64.8 | 97.2 | 162 | 243 | 324 |
| 60% | 77.4 | 117 | 194 | 292 | 389 |
行 = 遷移→契約変換率 / 列 = B群の相対改善幅 / ベースライン: A群 2.0% / 契約 18ヶ月
まとめ
- KGIから逆算する: KGIを直接計測できない場合は、自サイト内で計測できKGIと相関する「暫定NSM」を置く。
- データを見る前に因果チェーンを書く:
[介入] → [行動変化] → [KPI変化] → [KGI変化]の順で仮説を定義する。 - 計測仕様で自動的に動く指標を主指標にしない: B群にのみウィジェットを追加するテストでは、GA4の直帰率はガードレール(中止基準)として使い、主指標には両群共通の「アウトバウンド遷移率」などを1つだけ選ぶ。
- 1イベント=1行動に分け、分母・分子と解析単位を固定する: ファネルのどこで詰まっているかを特定できるようにする。
- テスト前に中止基準・最小効果量・金額インパクトを定義する: 統計的有意差だけでなく、事業上の採算ラインを事前に合意しておく。