今回は、プロダクトリリースが与えるインパクトの測定について、Mixpanelのプロダクトマネージャーが注意点と対策をわかりやすく解説した記事をご紹介します。目次はじめにMixpanelのパフォーマンス自己評価では、社員に2つ質問しています。1. 何を達成したか2. それぞれの成果がもたらした影響はどのようなものか1つ目の質問は、リリースノートを見れば明らかです。しかしそのインパクトについて…答えによっては重大な結論を判断します。プラスの影響を実証することは、チームが行った施策を検証し、その分野へのさらなる投資が正当であることを示唆します。逆にマイナスの影響を特定すれば、その方向へのさらなる無駄な投資を避け原点に立ち戻る必要があることを意味します。プロダクトへのインパクトを理解すれば、プロダクトチームの優先順位は劇的に変わります。インパクトを評価することは非常に重要ですが、実際に行うのは非常に難しくもあります。インパクト分析の落とし穴これまで、プロダクトチームは、プロダクトリリースが重要指標に及ぼす効果を評価する2つの選択肢を持っていました。しかし残念ながら、これらの方法にはどちらも欠点があります。1 つの方法は、単にリリース後に重要指標がどのように変化したかを確認することです。リリース後にある指標が向上すると、その変化をリリースによるものだと考えたくなります。しかし、実際にプロダクトがその変化を引き起こしたのかどうかを確かめる方法はありません。 おそらく、マーケティング部門がエンゲージメントを促進する新しいキャンペーンをリリースしたかもしれない。あるいは、単に会社の繁忙期の始まっただけかもしれない。 この方法で結果を信頼するには、あまりにも交絡要因が多すぎます。では、開発プロセスを遅らせることなく、信頼性の高いインパクトであると評価するにはどうすればいいのでしょうか？傾向マッチングの力その答えは、傾向マッチングと呼ばれる因果推論手法にあります。傾向マッチングは、A/Bテストを行うことなく、プロダクトリリースの効果を統計的に正しく、信頼性の高い評価を提供します。統計学の講義をするまでもなく、その方法は以下の通りです。傾向マッチングで新機能を評価する場合、最初のステップはユーザーを2つのグループに分けます。新機能を試したユーザーである『 アダプター（採用者）』試していないユーザーである『 非アダプター（非採用者）』基本的にこの分析手法では、アダプターと非アダプターの重要指標に関わるパフォーマンスを比較することができますが、「自己選択バイアス」による欠点があります。プロダクト分析での自己選択バイアスは、最もアクティブなユーザーが主要イベントを頻繁に実行するだけでなく、新機能をより頻繁に試す傾向として現れます。 言い換えれば、自己選択を補正しなければ、アダプターグループは最もアクティブなユーザーで満たされる傾向があります。当然のことながら、アダプターは、非アダプターよりも良い数値になります。これは誤解を招く結果とも言えます。※自己選択バイアス：参加の可否がその人に委ねられている場合に生じるバイアスです。実験やアンケートなどで、参加が協力的な人と非協力的な人では実験結果やアンケートへの回答内容が異なる可能性があることが特徴です。そこで登場するのが傾向マッチングです。傾向マッチングでは、機械学習モデルを使用して、新機能を使用する可能性（傾向）が類似しているユーザーセットを特定し、それらをグループごとに分類します。それぞれの傾向グループ内で、モデルとなるアダプターと非アダプターの行動を比較し、両者の間の差分を計算します。最後に、グループサイズで偏っている各傾向グループから差分平均を取得して、機能の全体的なインパクトを決定します。 95%信頼区間は、結果が統計的に有意かどうかを確認するための最も重要な役割を果たします。つまり、傾向マッチングを使えば、すでに収集している対象データからインパクトの正確な評価を導き出すことができます。面倒なテストは必要ありません。インパクトの測定が簡単に因果推論と聞くと少し複雑に感じるかもしれませんが、Mixpanelのインパクトレポート機能を使えば簡単です。Mixpanelは傾向マッチングを新しい「インパクトレポート」に組み込みました。このレポートはプロダクト分析業界では他に類を見ないもので、プロダクトリリースの前後でどのくらいインパクトがあるか簡単に評価できます。開発のスピードを落とすことなく、信頼できる結果が得られるようになりました。この強力なツールは、プロダクトリリースのインパクトを迅速かつ正確に判断するのに役立ちます。チームの価値を実証し、次の投資先を迅速に決定し、自社の顧客への価値提供率を高めるために、ぜひインパクトレポートをご活用ください。出典On measuring product impactBrandon Skerda （Product Manager @ Mixpanel）