Shopkickに在籍していたときに特に注力していたグロース施策はジオフェンス通知です。

ジオフェンス通知とは位置情報に基づいた通知で、ユーザーがShopkickと提携しているお店の近くにいると通知を受け取ります。来店客数を増やすために、そのお店で何ポイントが利用可能かを知らせてShopkickのアプリを使ってもらうことが通知の役割です。

当時iOS, Androidアプリのジオフェンシング機能対応は目新しかったので、機能の実装そのものも大変でしたし、精度とバッテリー消費の適切なバランスを保つ微調整にもかなりの技術的困難が伴いました。この機能が来店客数を20%~30%は増やしてくれると信じていたのでそのような大規模なリソース投入に踏み切ったのです。

 

ジオフェンシング機能

 

しかしながら、この機能を実装したあとの結果にがっかりしました。最初の施策ではたった3%しか来店客数が増えなかったのです。期待とは程遠い結果です。ジオフェンス通知がゲームチェンジャーになると固く信じていたので、この結果は何かの間違いだろうと思いました。

 

その数週間をデバッグや問題の究明に費やしました。我々はテストとデバッグをするだけのためにiOSアプリを開発し、ベイエリア全てにわたってフィールドテストを行いました。これだけやったあとも、細かい問題は見つけられましたが問題の核心をつきとめることはできませんでした。

 

最終的に、施策の実行結果のデータをもう一度じっくり見ることにしました。今回はジオフェンス通知を実装してからアプリを使い始めたユーザーとそれ以前のユーザーを別々に分析しました。そうしたら、この機能が新規ユーザーの来店客数を20%以上増やし、新規ユーザーのアクティブ率も改善されていることがわかったのです。

 

ユーザーのアクティブ率とエンゲージメントの増加を目的とした実験においては、実験がどういう結果になったかを正確に知るためにセグメント別に分析することが重要です。この実験では2つの注目すべき結果がありました。

 

年老いた犬

”芸は若いうちに学べ”ということわざを聞いたことがあると思います。一つ目の注目すべき現象は、既存ユーザーはアプリの利用方法に偏りを持ってしまうことです。実験の前に製品の使い方を学んでいるので、ジオフェンス通知がなくてもアプリに十分な価値を見出しているのです。彼らは実験の前に自分なりのアプリの利用パターンを確立しているので、今後もアプリを使い続けてくれるでしょう。

 

しかしながら新規ユーザーは先入観を持たず、彼らはジオフェンス通知は常にこのアプリの機能の一つだと認識しています。新規ユーザーだけを見ることで、バイアスのかかっていない母集団から価値あるインサイトを得られるでしょう。

 

薄まった結果

二つ目の注目すべき現象は、アクティブでエンゲージメントの高いユーザー群はエンゲージメント増加を狙いとした実験の結果を薄めてしまう場合があるということです。その理由は、すでにアプリへのエンゲージメントがとても高いユーザーのエンゲージメントレベルをさらに高めるのはとても難しいからです。エンゲージメントしていないユーザーや新規ユーザーをもっとエンゲージメントさせるほうが簡単でしょう。

 

以下の図に示しているのは私がPinterestで行った実験結果です。新しいタイプのプッシュ通知をあるユーザー群に送るという実験でした。全体的に、ターゲットとしたユーザー群のWAUは3%上昇しました。

セグメンテーション 全ユーザー全ユーザーでの実験結果

 

しかしながら、セグメント分析を行いエンゲージメントの低いユーザー(月に4回以下しかアプリを使わない)に新しいプッシュ通知がどういう結果をもたらしたか見てみると、彼らのWAUは10%上昇していたのです。

 

セグメンテーション 非アクティブユーザー

月4回以下しかアプリを使わないユーザーの実験結果

 

案の定、アプリのコアユーザー(1週間に何度もアプリを使う)には新しいプッシュ通知がどういう結果をもたらしたか見てみると、WAUの指標には全く影響を与えていないことがわかったのです。

セグメンテーション コアユーザー

コアユーザーの実験結果

まとめ

表面的にABテストをするのは簡単ですが、施策が全てのユーザーに等しく影響することはめったにないですし、大まかな結果だけをみてしまうとミスリードが起きてしまいます。

 

実験結果を国、性別、ユーザーのエンゲージメントレベル別(もちろん施策実行前のレベル別です)に分けること、そして”老いた犬”現象”薄まった結果”現象を頭に入れておくことが大切です。そうすることで実験がもたらした影響を正しく理解できます。実験が必要なく、むしろ実験が悪影響を及ぼしてしまうユーザー群を見つけることもあるかもしれません。

 

この記事は、PinterestのグロースハッカーJohn Eganのブログ記事”Experiment Segmentation: Avoiding Old Dogs and Watered Down Results”を著者の了解を得て日本語に抄訳し掲載するものです。 Repro published the Japanese translation of this original article on John Egan’s blog in English under the permission from him.

 

無料資料ダウンロード

世界46ヶ国、3800以上のアプリのマーケティングを支援しているReproが、「プッシュ通知」や「アプリ内メッセージ」といったアプリ内マーケティング施策の重要性と、施策を効果的にするためのポイントをわかりやすく解説。プッシュ通知を活用して売上を2倍にした事例や、アプリの重要なKPIを6倍にした事例も
ダウンロードはこちら

プッシュ通知許諾率無料診断実施中

プッシュ通知の許諾率は、開封率などと比べるとあまり改善を意識していないアプリ事業者の方が多いです。プッシュ通知の許諾率を高めることで配信対象者数も多くなり、プッシュ通知の効果を最大化でき、アプリの起動回数やコンバージョン数を上げることができます。
無料診断はこちら