「公開後に数字を見ながら改善しましょう」。そう決めていても、参加人数しか分からなければ、どこを直すべきか判断しにくくなります。始めた人は多いのか、途中で止まっているのか、一度終えた人が戻ってきているのか。知りたいことに合わせて、公開前から記録を用意しておきましょう。
前回は、小さく試すPoCで何を確かめるかを整理しました。今回は、企画・発注担当の方に向けて、参加と継続を確認する行動ログの考え方をまとめます。以下のサービスや条件は説明用の架空例で、特定の導入事例や実証済みの効果を示すものではありません。
1．画面の数より、確かめたい行動から決める
まず、利用者にしてほしい行動を一つの流れにします。架空の学習サービスなら「案内を見る→課題を始める→最後まで取り組む→別の日にも取り組む」という形です。各段階の人数が分かれば、参加の入口と、その後の体験を分けて考えられます。
たとえば、案内を見た人が少ないなら告知や導線、開始したのに完了しないなら説明の分かりにくさや操作負担が確認候補になります。ただし、数字だけで原因を決めつけず、問い合わせや利用者の声と照らし合わせましょう。
2．「押した」と「できた」を分けて記録する
ボタンを押した回数と、処理が成功した回数は同じとは限りません。完了ボタンを押しても通信に失敗すれば、記録が保存されていない可能性があります。参加受付、課題完了、報酬付与などは、何をもって成功とするかを開発担当と揃えます。
最初の計測案は、次のように少数の行動から始められます。名称は説明用で、特定の分析ツールの仕様ではありません。
- 案内表示：参加案内が利用者に表示された
- 参加開始：参加手続きが受け付けられた
- 課題完了：完了条件を満たし、結果の保存が成功した
- 次の行動：別の課題を開始した、または別の日に再度取り組んだ
画面表示やクリックを補助ログとして残す場合も、成功の記録と混ぜないことが大切です。連打や再送を別の達成として数えないよう、一つの行動を識別する方法と重複の扱いも決めます。
3．人数・回数・割合の条件を揃える
同じ人が何度も遊べる仕組みでは、プレイ回数が増えても参加人数が増えたとは限りません。回数と人数は別に集計し、ログイン前後や複数端末で同じ人をどこまで識別できるかを明記します。識別できない範囲を、推測で同一人物にまとめないようにします。
完了率なら「期間中に開始した人のうち、定めた期間内に完了した人」のように、分母・分子・期限を一緒に書きます。途中参加者を含むのか、テスト利用者を除くのかも揃えましょう。単に『完了率』と名付けるだけでは、担当者ごとに違う数字になってしまいます。
4．継続は、戻ってきてほしい間隔で見る
毎日使うものと、週末や来店時に使うものでは、自然な利用間隔が異なります。架空の週単位の学習企画であれば、初めて参加した週ごとに人を分け、翌週にも課題に取り組んだかを見る方法が考えられます。毎日の起動だけを成功条件にする必要はありません。
また、公開直後の人にはまだ翌週が来ていません。観察期間が足りない人を『継続しなかった人』に含めると、数字を低く見積もってしまいます。いつ参加した人を、いつまで観察できたのかを示し、比較する集団の条件を揃えます。
5．必要な情報だけを、同じ定義で残す
一つのログには、行動名、発生時刻、分析用の利用者識別子、対象の課題、成功・失敗の結果など、判断に必要な項目を検討します。通信が遅れて届く場合に備え、行動した時刻と受信した時刻を区別するか、日付の区切りをどの時間帯に合わせるかも確認します。
『後で使うかもしれない』という理由だけで、氏名、メールアドレス、入力文の全文などを増やさないようにします。取得目的、利用者への説明、閲覧権限、保管期間、削除方法を担当者と整理してください。必要な手続きやルールは、自社の方針と専門担当者の確認に沿って決めます。
課題やルールを更新する場合は、どの版で起きた行動か分かるようにしておくと比較に役立ちます。項目名や意味を変更するときは、変更日と影響範囲も記録しましょう。
6．公開前に、実際の操作と数字を突き合わせる
ログが届いているだけでは、正しく測れているとは限りません。テスト利用者で一連の操作を行い、想定した行動が一度ずつ記録されるか、集計結果まで確認します。途中で閉じる、通信が切れる、再送する、日付をまたぐといった場合も試します。
公開初日は、参加が少ないのか、計測が止まっているのかを切り分けられることが重要です。確認する担当者と確認先を決め、欠損が疑われる期間は効果の判断を急がないようにします。施策を変えた日や告知の実施日も残すと、数字の変化を読む手掛かりになります。
公開前のチェックリスト
- 確かめたい行動と、参加から継続までの流れが決まっている
- クリックと処理成功を分け、重複の扱いを決めている
- 人数と回数、割合の分母・分子・集計期間を説明できる
- 利用間隔と観察期間を踏まえ、継続の定義を揃えている
- 取得項目、閲覧権限、保管・削除の方針を確認している
- 操作から集計までを試し、公開初日の確認担当が決まっている
改善の相談ができる記録を、最初から
最初からすべての操作を記録する必要はありません。まずは『参加できたか』『目的の行動を終えたか』『次も取り組んだか』を、同じ条件で確認できる状態を目指しましょう。行動ログの設計も開発範囲に含め、画面や演出とあわせて相談しておくと、公開後の改善につなげやすくなります。
コメント