A/Bテストでアプリマーケターが犯しやすい7つの失敗

教育用のビデオからお見合いアプリ用のプロフィール(実際ABテストしてるのです)までA/Bテストが実施されるほどスプリットテストは主流になりました。しかし、この手法が大衆化したことで、基本的に知っておくべき原則を見過ごすという罠に何度も陥っている人も見受けられます。そこで、アプリストアのA/Bテストでの失敗例を見てみましょう。

 

1. サンプル数を間違える

テストの対象となるグループあたり100インストールより少ない状態で、結論を導きだすことはほとんど不可能です。サンプルが少ないと、その結果は科学的な裏付けがあるものとは言えず、民衆の知恵レベルの正しさといえるでしょう。対象とするサンプル数が多いほど、正確なデータを得ることができます。しかし、たくさんのユーザーをテストに参加させるのはお金がかかることなので、余計に多くするのも嫌でしょう。

 

いくつかの式を使って、集計したデータから母集団の大きさ、許容誤差、信頼区間1)原文:confidence errorをもとにしたサンプル数を計算することができます。標本を推計するためにStatanQuery AdvisorUnifyPowといったオンラインのツールを使用することができます。中でも一番簡単なのは以下のオンラインのツールかもしれません。

 

Evan’s Sample Size Calculator

 

SurveySystem Sample Size Calculator

SplitMetricsを使用してA/Bテストを行うとき、ソフトが統計的に有意な結果が出るように実施します。

 

2. 仮説を立てていない

アプリストア内のアプリの詳細ページに関してテストを行うとき、テストのデザインについて戦略的に考えることは役に立ちます。何をテストするのかが固まっていれば、途中で当初の主旨から反れてしまうことはありません。どんな結果を望んでいるのかがはっきりしていれば、少ないリソースで早くゴールにたどり着くことができます。しかし、A/Bテストの仮説を立てる前に以下の2つの質問を自分自身に問うてみてください。

 

1)何がゴールなのか?

 

2)アプリの詳細ページで問題となっているかもしれないことは何なのか?

 

アプリの詳細ページのA/Bテストでのゴールは閲覧者がインストールするコンバージョン率で、問題は大抵それを妨げるデザインのパーツです。

 

ここで仮説を立てることができます。仮説には2つのことが含まれていなければいけません。1つ目はコンバージョン率を向上させることによるゴールは何なのか。2つ目は上記の2つ目の質問で発見した問題を解決するために何を変更するのかです。

 

試しにRovio社のAngry Bird 2のアプリ詳細ページを使ってサンプルの仮説を立ててみましょう。

 

モバイルアプリでアプリのインストールを増やすためのキャンペーンにおけるCPCが増えていることを考えたら、コンバージョン率がより高まるだけでもたくさんのお金を節約できることがわかります。2015年に1,000万人に実施したSplitMetricsの一斉調査によると、ゲームアプリのコンバージョン率の中央値は、4.47%でした。それを基準値としたら、コンバージョン率10%、5.53%(+123.71%)の増加を狙うのは十分に面白い挑戦だと思います。

 

そのためのアイデアがひとつあります。ほとんどのゲームアプリ開発会社はアプリのスクリーンショットを横向きにします。これはゲームのカテゴリの中では標準的になっています。そこで縦向きにしたら我々のアプリ詳細ページは際立つとも考えられるのではないでしょうか?

RovioのAngry Bird 2はスプリットテストで良い結果を残した縦向きのスクリーンショットを使用してコンバージョン率が13%増えた。

 

Angry Bird 2の場合

コンバージョンのゴール

アプリ詳細ページ閲覧者のインストールへのコンバージョン率10%を達成する

 

アプリが抱えていた課題

たくさんのゲームアプリが横向きのスクリーンショットを使用していて、自分たちのアプリも同様だった。

 

仮説

スクリーンショットを縦向きに変えることによって、コンバージョン率を向上させることができる。

 

この仮説をもとに、縦向きと横向きの2パターンのスクリーンショットを使ってテストを実施できます。

 

3. インストール数を計測するツールを併用していない

Tune、AppsFlyer、Adjustといったマーケティング用の計測ツールを使用しているなら、これらをA/Bテストツールと併用して、新規ユーザーをテストに貢献させることができます。これにより、どんなユーザーを獲得しているかについてより、充実したデータを得ることができます。

 

Split Metricsはどんなモバイルの集計、分析ツールとも連携しています。変数{click_id}を使ってどんなユーザー属性も送ることができ、それをカスタムインストールURLに追加することができます。

4. 予備のテストを実施していない

最初のテストを実施したとき、外的要因がテストの結果をめちゃくちゃにしてしまっているかもしれません。何回もテストを行うのは、総合的なコンバージョン率の変化を確認するだけではなく、ページ上のどのパーツがより多くのインストールを生み出しているのかを再認識するのにも便利です。一つのパーツ(たとえば最初のスクリーンショットと3番目のスクリーンショット、または「続きを読む」)に着目してそれがキャンペーンの結果に影響を及ぼしているのかを確かめることができます。

5. 一度にテストする対象が多すぎる

対象がたくさんあるテストの問題はセットアップがたいへんなことです。幅広く計画を立てる必要がありますし、どの要素がコンバージョンの上昇や下降に貢献しているのかがわかりません。アプリの詳細ページで一度にたくさんの変更をしてしまうと、何がうまくいっていて、何がうまくいっていないのかを判断するのが難しくなります。背景色の色や配置、最初のスクリーンショットを変える、スクリーンショットの順番を入れ替えるなどのシンプルな変更はセットアップが簡単でわかりやすいテスト結果がでます。トラフィックと時間が無限にあるのではなければ、変更点は一つにして、テストを繰り返しましょう。

Paper by FiftyThreeのマーケティングチームはそれぞれのスクリーンショットの色を変更することでアプリストアの詳細ページのコンバージョン率を向上させた。

6. テストを中止するのが早すぎる

テストを始める前にサンプルの多さを確認し、テストが終わるまで待ちましょう。このトピックにおいて利用できる一番のリソースの一つでもある、2010年にEvan Millerが書いた記事を読むことをおすすめします。Evanは手動でも自動でも「中止条件」を付けているA/Bテストは有意義な結果をもたらさないと主張しています。このミスは統計学で「繰り返し有意検定の過誤」2)原文:
repeated significance testing errors
として知られているものからくるものです。

 

7.テストを繰り返さない

季節的な消費行動、人口動態の変遷、市場の変動、製品と競合の変化などはすべて様々なタイミングで異なる結果を引き出す要因になります。市場での競争で最前線に居続けるために素早く前進し、その道のりでプロダクトを最適化していきたいことでしょう。一流のアプリ開発会社はアプリストア上のプロモーションを有効利用します。10月のハロウィーンのテーマへの変更や、クリスマスのアプリストアの「デコレーション」、ブランドイメージの大胆な変更も有効利用できるでしょう。

RovioのAngry Bird 2の季節に合わせたアイコン。イースターエッグ、サンタの帽子、バレンタインのハート、そしてセント・パトリックスデイのアイルランド帽子

 

もっと知りたい方は

A/Bテストに関してより深く知りたい方は、以下のオンライン上のリソースを使用することができます。

 

  1. Jesse Farmer のStatistical Analysis and A/B testing どうやってアプリ詳細ページの閲覧者の行動がランダムなものかどうかを見分ける方法についての素晴らしい記事です。Farmerは帰無仮説、Z値、そしてその他の便利なツールについても扱っています。また、ランディングページのコンバージョン率のテストのサンプルも見ることができます。

 

  1. Paras ChopraのThe Ultimate Guide to A/B Testing Smashing Magazineから集めた総合的な記事です。何をA/Bテストできるかといった基礎的なことを扱っています。また、昔のA/Bテストの事例へのリンクもあります。

 

  1. Charles WheelanのNaked Statistic 「統計の入門を逃した人のための救世主」というフレーズがこのアマゾンのベストセラーを正確に表しているでしょう。

まとめ

アプリストアの詳細ページのA/Bテストはモバイルマーケターにコンバージョン率の向上や、オーガニックのアプリダウンロード数の上昇など、様々な利益をもたらします。A/Bテストの美しいところは、まるでユーザーのところに行って直接アプリの詳細ページのデザインについて好きなところと嫌いなところを尋ねているかのようであることです。しかし、A/Bテストの有効性が明らかになってきたことで、この科学的な手法が基礎としてきたシンプルな約束事が見過ごされる危険性が生まれています。

 

ここまでアプリストアのA/Bテストを実施するときにマーケターが犯しやすい7つの失敗を取り上げました。ASOのテストにおいて賢く戦略的になることで、よりよく、より信頼できる知見を得られることでしょう。

 

この記事は、SplitMetrics上の記事 “How Not To A/B Test: 7 Fails of App Marketers“を著者の了解を得て日本語に抄訳し掲載するものです。Repro published the Japanese translation of this original article on SplitMetrics in English under the permission from the author.

 

 

注釈   [ + ]

1. 原文:confidence error
2. 原文:
repeated significance testing errors