本記事は、2019年4月15日に開催された『本質的に数字と向き合うってこういうこと〜LayerX福島良典氏と語る夜〜』の講演内容を基にしたイベントレポートです。

データ分析を行うことが常識となり、手軽に数字が扱えるようになったからこそ、どの数字を見たらいいのかわからないなどの課題を感じている方は多いのではないでしょうか?今回は、Gunosy創業者でブロックチェーン技術を活用した事業を展開するLayerXの福島氏をゲストに迎えて開催された「本質的に数字と向き合う」勉強会の内容をご紹介します。

登壇者

 

株式会社ミラティブ 分析リーダー 兼 新規事業のPM 坂本 としふみ 氏

2010年京都大学理学研究科修了。大手メーカー系IT企業でSAPコンサルタントとして会計システムの開発に従事した後、データサイエンティストとして株式会社ディー・エヌ・エーで活躍。

2014年3月freee株式会社に参画し、データ分析チーム・グロースチームの立ち上げ、会社設立freeeのプロデュースなどを行う。現在は株式会社ミラティブの分析リーダーだけでなく新規事業のPMも務める。

 

 

株式会社LayerX 代表取締役社長 福島 良典 氏

東京大学大学院工学系研究科修了。大学院在学中に『Gunosy(グノシー)』のサービスを開発し、2012年11月に株式会社Gunosyを創業、代表取締役に就任後、2013年11月代表取締役最高経営責任者に就任。同社は創業より約2年半というスピードで東証マザーズに上場、2017年12月には東証第一部へ市場変更する。

2018年8月よりブロックチェーン領域の技術開発のために新たに設立した、『Gunosy』の子会社である株式会社LayerXの代表取締役社長に注力するために異動。2016年には『Forbes Asia』より『アジアを代表する「30歳未満」に選出される。

 

『Mirrativ』の数字への向き合い方

『Mirrativ』の取り組みについて

ミラティブは、『わかりあう願いをつなごう』をミッションに掲げて、ゲーム実況のプラットフォーム『Mirrativ』を運営しています。ゲームをプレイしている時の嬉しい・悲しいといった感情をユーザー同士で共有しながら、『Mirrativ』はスマホ1台でゲーム配信を行うことができます。ミラティブはもともと顔出しをしない文化でしたが、感情の共有をわかりやすくするために『エモモ』というアバター機能を用いた配信もできるようになっています。

グローバル展開もしていて、日本語・韓国語・英語バージョンをリリースしています。

『Mirrativ』では、ユーザーログを活用した3つの特徴的なデータを保持しています。1つ目は「ゲーム画面の時系列変化」。ゲーム画面の変化を画像解析しようとしています。2つ目は「配信者の音声情報」。音声情報の強弱やワードに合わせてアバターがリアクションをできるようにしようとしています。3つ目は「視聴者さんのリアクション情報」で、どういう体験をしたユーザーが継続率が高いのか調べています。

 

レコメンド最適化による継続率向上施策

『Mirrativ』はライブ配信プラットフォームですので、「ある瞬間ごとにどんな配信をおすすめするか」というのが非常に奥深くて面白い課題です。具体的に紹介しましょう。

例えば、「配信ユーザーAさんの配信を見た新規視聴ユーザー」の継続率が高くなることがわかっているとします。そこで新規視聴ユーザーには、まずAさんの配信を見せるようにしました。するとAさんの人気が高くなりすぎて、ほかの配信ユーザーさんの視聴者が少なくなり、結果的に、配信ユーザーの数が減ってしまうことがあります。

視聴ユーザーにとっては、自分にとって面白い配信で埋め尽くされている状態、配信ユーザーにとっては、視聴ユーザーがすぐに来てくれる状態が理想ですが、その両者の理想を共にかなえられるKPI設計は非常に難しいです。

また、ライブ配信ならではの課題もあります。例えば、新規視聴ユーザーがある特定の条件を満たした配信を見ると、その後の継続率が高くなることがわかっていたとします。しかしながら、その条件を満たす配信がない時間帯というのも存在します。そのときにはどんな配信をおすすめするか、それはそれで奥深いテーマです。

このように、配信ユーザーと視聴ユーザーが、ライブ配信を通じてわかりあうサービスであるからこその面白さを日々感じています。

 

福島良典氏と語る夜(Q&A)

見るべき数字の見極め

Q. この数字を見る/見ないの意思決定の背景には、どういった分析の考え方があるか?

前提として、数字は「ユーザー満足度を最大化する」ために見ます。会社としては、「長期的な売上を最大化する」ためです。そういった前提のなかで、売上をどのようなKPIに分解すると会社としてコントロールできる指標になるかという視点が重要になってきます。

どの数字を見るかの意思決定のためには、「動く数字」と「動かない数字」を把握しておき、それぞれに対して見方を変える必要があります。

例えばメディアでは、ユーザーの滞在時間やメディア内回遊率などのエンゲージメントに関する部分は改善しやすいので、数字の変動を見ていく必要があります。一方で、リテンション率やアンインストール率など、あまり動かない数字は上がっているかではなく、むしろ落ちていないかを見ていく必要があります。

つまり、今見ている数字が本当にコントロールすべき数字なのかを見極めて分析することが重要だということです。

どの数字から着手すべきかは、そのチームが過去にどれほど数字に向き合ってきたかに依存します。過去に数字に向き合ってきたチームは、重要なKPIに絞って見ること、逆に全く向き合ってこなかったチームは、自分たちのビジネスをどのKPIに分解したら、意味のある切り口になるかを把握することが大切です。

『Mirrativ』は「一人あたりの」で測れる数字を見ることにこだわっています。サービスのエモさは「割り算の数字」にでると思っているからです。例えば、1人あたりの配信時間は『Mirrativ』を好きでいてくれる度合いそのものなので、注意して見るようにしてますね。

 

Q. CPA, CVR, LTV, LTR, DAU, MAU, Retention, ChurnRate…など見るべきデータは多いが、上下するデータに翻弄されず、素直に数字と向き合うコツは?

注意しておきたいのは、CPAやリテンションは常に同じ数字が出るわけではなく、曜日要因や外部環境に左右されたりすることです。データの変動を見て、何か異常が起こってるのか、それとも大きなトレンドの一部なのかを判断することが、意思決定をする際の難しさです。ただ大体の変動は、曜日要因や外部環境で説明できるので、あまり細かい数字の変化は見ててもしょうがないと思います。

ある程度サービスの規模が出るまでは、KPIを一個に絞るとか、ひたすら定性的な改善をしていくチームの方が伸びています。似たような指標を追っているサービスは無数にあるので、App Annieなど外部ツールでCPAやリテンションなどの指標の平均値を知っておくと、意思決定がスムーズになります。

実際に、僕らが新しいサービスを立ち上げるときは、どういうジャンルが、どれぐらいリテンションレートが出ていて、どういうユーザー獲得構造になっているのかをきちんと調べるようにしています。

 

Q. KPIをどのような思考プロセスで定義しているか、またどのようなタイミングで定義し直しているのか?

これは永遠の課題だと思っていますが、結局ミスに気づくたびに直していくしかないです。設定したモデルが間違ってるケースも多々あって、僕らもプッシュ通知を増やせばDAUも増える、というような判断をしていた時がありました。

ただその時は、アプリ削除率・プッシュ通知の拒否率などを見ていなかったんですね。一見するとプッシュ通知を打てば打つほどアクティブユーザーが増えているように見えていたんですが、長期で見ると、実はエンゲージメントの数字が落ちていたということがありました。

プッシュ通知を1日3回打つのか、それとも4回なのかというような、施策の細部を見ていると、重要視すべきKPIに気づくこともあります。なので、最初はベーシックなKPI設定をしつつ、施策で違和感を感じるたびにチームでモデルを直していく認識・雰囲気を作っていくことが大切だと思っています。

木と森の議論が大事だと思っていて、木ばかりを見てると、「このKPIでいいんだ」と思いますが、木が大きくなっているのに森が大きくなっていないときは、何かを見落としているんじゃないかと怪しんでください。

 

Q. 定性的に改善されているように感じても、定量的には改善できていない時にはどういったことをしているのか。

基本的には、定性的には良いはずなのに定量的に悪いときは、そもそもの数字の評価の仕方が間違っていることを疑うと、うまくいく場合が多いです。ある数字に対して感覚的なズレがあるときに、それによく気づきます。この数字はこういう施策を打つとこういう風に動くはずなのに、おかしい、みたいなことです。

 

Q. 自分はCustomer Success部門の統括をしているが゙、メトリクスの管理などは自分がメインでやることが多く、注視すべきメトリクスやフェーズごとに気をつけることなどを聞いてみたい。

僕がBtoBの社長だったら、細かい数字よりも、会社自体がどのドライブで伸びているかを見ます。営業がドライブで伸びているなら、とにかく採用人数を増やして、獲得できている案件の傾向を知り、一人当たりの売り上げがこれくらいで、これくらい伸びるな、みたいなことに頭を使うほうが会社は伸びると思います。

ではなぜ『Gunosy』や『Mirrativ』のようなメディアが、1%の定着率を上げることにこだわるのかというと、その1%が売上に与えるインパクトが大きく、そこをどこまで上げられるかで最終的な利益が変わるためです。

一方でSaaSだと、フィードバックサイクルが長かったり、フリークエンシーが低かったりするので、僕だったら違う考え方をします。むしろ森の数字だけを見たりだとか、定性的な意見を取り入れたほうが伸びやすいだとか。

BtoBで最終的に見る指標は営業効率とチャーンレートだと思うんですけど、自社データに基づく打ち手よりも、市場から集める情報をもとに打てる施策の方が多いです。特に立ち上げ初期だと数字だとか言っていないで、コアになる仮説・課題を見つけてくることのほうがよっぽど大事だと思っています。

 

グロースハックと実践

Q. 探索的分析からインサイトを出し、KPIの劇的な改善が見られた事例が知りたい。

まず、改善しやすいKPIと改善しにくいKPIがあります。例えば、滞在時間のようなKPIなら本当にちょっとした気づきから、数字が一気に伸びることがあります。

例えば、『Gunosy』の場合だと、プッシュ通知のロジックを変えただけでは、いきなり全部の数値が上がったりすることはまずないです。しかしセグメントごとに見た時、ここはかなり上がってるけど、他の数字は落ちてるから全体として見たら負けてるよね、ということが結構あって、これをヒントにロジックを考えると滞在時間などに関しては改善しやすいです。

逆に、継続率などは改善しようとしてもあまり効果は出ないと思っています。継続率を決めるのは最初のアプリの作りだと思っていて、ある記事でフリマアプリ『フリル』の堀井さんがアプリを作っているときに最も効果が出たことは何かという問いに、「写真で出品できることです。それがすべてで、他にやった改善でそれに勝る改善はなかった」とおっしゃっていて、つまり最初の発明の時点で勝ちだった、みたいなことがあります。

構造的に決まるKPIの劇的改善を追求すると、リソースを無駄にしてしまう可能性があるので、「主に上げるのはエンゲージメント的な数字である」というような割り切りが大事です。

 

Q. インストール数、翌日継続率、7日後継続率などの指標に対して、行った施策(ASO、プッシュ、オンボーディングなど)とその準備(全体の体験設計やカスタマージャーニーなど)を伺いたい。

施策はやればやるほど限界効用が逓減して、改善点が見つからなくなります。そのため、他のサービスが行っている施策で、自分たちがまだ掘れてない施策は効果が出やすいため、その施策を察知する情報網を持つことが重要です。クーポンのような機能は、今では多くのサービスが取り入れていますが、いち早く察知するだけで差が出ることがよくあります。

施策の準備でいうと、数字目標だけで行うことは良くないと思っていて、「こうするとCPA下がるから」という理由だけで行う施策は、全体のバランスを考えて意思決定する人がいない限りは失敗しやすいです。数値目標だけではなく定性的な感覚を持ち、他のサービスを見て「こう変えればいいよね」みたいな施策設計をすると良いです。

 

 

Q. 出てくる数字をどのような基準に従って定量的に判断しているかを知りたい。

基準は完全に統計的な検定ですね。恣意的な判断は挟みません。

とはいえ、ほとんどの施策は結果が変わらないので、その時に大事なのは定性的に良い方を選ぶことです。判断が際どい場合や、良いと思っていたのに結果が出なかった場合に、チームとしてどういう判断するかが大事です。経験上、細かい数字を見るよりは定性的に良い方を選ぶ方が意外と結果にはつながったりします。ただし、数字で圧倒的に結果が出たものは感情を排して必ず反映させるべきです。

ほとんどのプロダクトでは、連続的な施策の中でたまたま何かがトリガーになって数字が上がるので、一貫した施策の中で、数字をドライに判断する姿勢がすごく大事です。

 

Q.  デザインはどのように意思決定したり効果測定をしているか?

数値に現れやすいデザインに関しては、数字は動くけど一瞬というケースが多く、「慣れ」の部分が大きいです。デザインをガラッと変えたけど、サービスの本質的な部分は変わっていないから、あまり影響がなかったというケースがあります。

一方、数値には表れにくいサービスロゴやアプリデザインの意思決定は、「決め」ですね。基本的には、やると決めたらやった方が良くて、ABテストを実施しても、大体ユーザーが慣れてない新しい方が負けます。むしろ会社としてどうしたいかという意思が大事で、やると決めたらやった方が良いです。デザインは基本的には必ずABテストをすべきなんですけど、大規模アップデートのときにはする必要はないと思っています。

 

組織論・キャリア論

Q. 数値に対する考察や意思決定の方向性の共有をどのように行っているか?また、チームの人に共有する時に気をつけていることは?

「何を試しているか」をチームに常に共有しています。単に数字だけを追ってしまうと、「何を試してたんだっけ?」「何がどうなると勝ちなんだっけ?」となることが多いです。ほとんどの施策は数字が動かないので、一個でも数字が上がるものを見つけれればよく、いかにその一個にたどり着くかという形で施策の質を上げていけば良いと思っています。

そのためには、「この施策は何を試していて、本来何がどう動くはずで、それをどう分析したのか」ということを振り返ることが大事です。振り返りをチーム全員でする、その積み重ねが爆発的な数字の向上につながります。仮説と結果がずれた場合には、どうずれたのかを振り返ると、次の施策の精度が上がってきます。

Q. 組織全体として、数字だけを鵜呑みにしない文化を作れるか?

組織の中で、上の人が「数字ではない部分」を見る意識を持つしかないです。逆に組織全体としては数字を明確にすることが必要で、数字ではない意思決定をした瞬間に全員バラバラな意思決定をしだすので、基本的には数字だけを見て意思決定をすべきです。

ただ、上の人が例外の基準を作ってあげるべきで、そういった組織の方が伸びると思っています。付け加えると、ここで言っている意思決定は施策の判断の話で、施策自体のアイデアは定性的にいろいろ出すべきです。

Q. 数字を見るときに意識しなければならない、数字以上に大切なものを挙げるとすれば何か?

数字は何かの評価のために見ているので、数字を見る以上に大事なのはどう実験を組み立てるか、何を試しているのか、などの精度を上げていくことです。具体的な仮説と、それに対する振り返りが大事で、結局数字はそれを評価するための媒体でしかないので、むしろ起こっている現象をいかに正しくとらえるかの方が大事です。

サービスの改善が上手い人は、ある改善をしたときに、これを評価するためにはどういう数字を見たほうが良いんだろうって見方をするんですよね。下手な人は数字から入って、この数字を改善するためにはどうサービスを改善すれば良いんだろうという見方をするんです。ただの数字で見るのではなくて、数字とサービスをリンクさせる能力が大切だと思います。

 


関連記事はありません