オンボーディングA/B計測 Preview
公開ブラウザ体験版では、同じTenkaCloudオンボーディング問題を次の2通りで表示します。
list: 動画と同じように、標準の6つのflag提出欄を一覧表示する。step: 標準のflag提出欄を1問ずつ表示する。
どちらも同じflag入力、ヒント公開の確認画面、ヒント本文、採点処理を使います。 変えるのは見せ方だけです。
割り当て
初めてブラウザ体験版を開いた人をlistまたはstepへ50%ずつ割り当て、
結果をlocalStorageのtenkacloud.onboarding.variant.v1に保存します。
同じブラウザでは同じ表示を続けます。
レビュー時はURLに?onboarding=listまたは?onboarding=stepを付けます。
強制表示はassignment_source=forced、通常の割り当ては
assignment_source=assignedとして送るため、実験集計からレビュー操作を除外できます。
イベント
既存のTenkaCloud GA4プロパティを読み込むのは公開ブラウザ体験版だけです。 本番の競技参加者ポータルでは読み込みません。
| イベント | 送信する時点 | パラメータ |
|---|---|---|
onboarding_view |
6問の領域を表示した | onboarding_variant, assignment_source, total_steps |
onboarding_step_view |
そのステップを初めて表示した | onboarding_variant, assignment_source, onboarding_step, step_index |
onboarding_hint_reveal |
ヒント公開に成功した | 表示種別、割り当て元、ステップ、番号 |
onboarding_submit |
提出結果が返った | 表示種別、割り当て元、ステップ、番号、onboarding_result |
onboarding_step_complete |
そのステップを正解した | 表示種別、割り当て元、ステップ、番号 |
onboarding_complete |
6問を完了した | 表示種別、割り当て元、elapsed_ms, hint_count, wrong_attempt_count |
回答文字列、flag、チームキー、ヒント本文は送信しません。
GA4の設定
管理 → データの表示 → カスタム定義で、次のイベントスコープの カスタムディメンションを作成します。
| ディメンション名 | イベントパラメータ |
|---|---|
| Onboarding variant | onboarding_variant |
| Assignment source | assignment_source |
| Onboarding step | onboarding_step |
| Onboarding result | onboarding_result |
最初にリアルタイムまたはDebugViewでイベント到着を確認します。 カスタムディメンションがレポートで使えるまで24〜48時間かかることがあります。
離脱ファネルを作る
探索 → ファネルデータ探索でクローズドファネルを作り、
Assignment sourceをassignedに絞ります。
onboarding_viewonboarding_step_completeかつonboarding_step = tenka-whatonboarding_step_completeかつonboarding_step = battle-challengeonboarding_step_completeかつonboarding_step = choose-modeonboarding_step_completeかつonboarding_step = read-problemonboarding_step_completeかつonboarding_step = open-endpointonboarding_step_completeかつonboarding_step = first-flagonboarding_complete
内訳にOnboarding variantを指定し、経過時間を表示を有効にします。
listとstepについて、各段階の完了率と離脱率を比較できます。
ヒント公開と誤答は安全指標として読みます。
- ヒント利用率が低ければ良いとは限りません。ヒントを見つけて安心して使えた結果、 完走率が上がることもあります。
- まず完走率が高く、誤答率を悪化させない表示を優先します。
- 完走率が近い場合は、完了時間と参加者への聞き取りで判断します。
- 少人数の途中経過だけで勝者を決めず、片方が先行した時点で実験を止めません。
プライバシー境界
プライバシーポリシーにブラウザ体験版の操作計測を記載しています。 回答内容を送る変更、または本番の競技参加者ポータルで計測する変更を行う場合は、 収集前にデータ契約とポリシーを見直してください。