A/Bテストで本当に価値ある結果を出す方法

 

最近あらゆる人がA/Bテストの虜になっているように思えます。ボタンの様々な色、カートアイコンの見た目の種類、ランディングページの新しいボタンなどに関するテストのアドバイスをいつも見かけます。

 

ランダムにA/Bテストをすることでコンバージョン率やダウンロード数は増えるかも知れません(スクリーンショットの順番を変えるだけで、MyDayというアプリのダウンロード数が何倍にも増えたこともありました)。しかし、多くの場合、ランダムにA/Bテストをしても確実な結果を引き出せることはほとんどありません。AppSumoによると、A/Bテストでは8回に1回しか本当に価値のある結果が出ません。それ以外の場合にはテストに力を注ぐ価値はないのです。

 

それでは、どうやってモバイルアプリのA/Bテストを行って、本当にアプリのパフォーマンスを向上させるのに役立つ結果を得ることができるのでしょうか?これがこの記事のテーマです。

 

いつ、そしてなぜA/Bテストは失敗するのか

A/Bテストは統計的に有意な結果が得られなかった時に失敗とみなされます。

 

テスト結果が統計的に有意ではないとき、これはテストした中でどの選択肢が良かったのかはっきりと結論が出ないことを意味します。はっきりとした意図を持たずにデザインを微調整したり、プロダクトの一部分をランダムにテストすれば有意ではない結果は簡単に出てしまいます。そのような結果も価値があるという意見もありますが、全てのことにA/Bテストを行うのは効率が良くないということは明らかです。

 

しかし、それは一つの側面にすぎません。

 

もう一つ失敗といえるのはA/Bテストは統計的に有意な結果を示しながらも、予想した結果とは異なっていた時です。例えば、たくさんのリソースをつぎ込んでプロダクトを劇的に変更しながらも、「変更後」のプロダクトが「変更前」のプロダクトよりも劣っていたとしましょう。これが起こってしまうのは、そもそもこの変更の効果を裏付けるのに十分なデータ(例えば、KPI設定、ユーザーリサーチ、マーケットリサーチ)が無いからなのです。

 

A/Bテストがあなたの望む結果を示すのは、テストが意味のある物で、アプリのパフォーマンスを伸ばすこともできる箇所にターゲットを絞って行った時だけで、そのようなA/Bテストはあなたのビジネスのゴールを達成するのを助けます。

 

それではどうやってA/Bテストを有意義なものにできるのでしょうか?

 

image03

画像出典:TheNextWeb

 

まず、よく考えてA/Bテストを実施する

モバイルアプリにおけるA/Bテストというと、通常は下記の2つのどちらかを指します。

 

  1. アプリ内のコンテンツ(UIやUX、ユーサビリティ、アプリの初回体験、アクションを促すボタン)のテスト。アプリ内でのA/Bテストはユーザーのアプリ体験やアプリへのエンゲージメントを全体的に向上させるために用いられます。
  2. アプリストアのページ、広告、ランディングページのテスト。アプリストアとランディングページのA/BテストはCACを高めるために用いられます。

 

先に述べたように、プロダクトの細部に関して逐一盲目的にA/Bテストを実施するのは無意味な物になる可能性があります。しかし、何を向上させる必要があるのかを認識しているのなら、本当に意味のある改善点をテストすることができます。

 

価値のあるA/Bテストを作るためには、以下の3ステップをたどってください。

 

1. ゴールを定める

A/Bテストを使って重要な指標を向上させようとする時には、ビジネスゴールを心に留めておくことが不可欠です。

 

ほとんどのモバイルアプリにとって、最も重要な指標はコンバージョン率です。「ユーザーコンバージョン」はユーザーの具体的なアクションで、アプリをマネタイズするゴールに近づけます。ユーザーとアプリのエンゲージメントレベルごとに、異なるユーザーコンバージョンイベントを定めることができるのです。

 

以下にユーザーコンバージョンイベントになりえるものを挙げておきます。

 

  1. ユーザーがアプリをインストールする前
  • 広告のクリック
  • 購読
  • アプリストアでのアプリ詳細ページ閲覧
  • アプリストアからアプリのダウンロード

 

  1. アプリ内のコンバージョン
  • ユーザー登録
  • ユーザーのエンゲージメントを促進するアクション(例えば、プロフィール画像の設定やコンテンツのシェア)
  • クレジットカード情報の入力
  • アプリ内での購入
  • 友人のアプリへの招待

 

2. KPIを定め、現状を把握する

重要目標達成指標(KPI)はアプリの成功度合いを反映する指標です。しかし、「成功度合い」はインストール数、1セッションあたりのアプリ起動時間など決まるものでしょうか?全てはあなたのビジネスにおける目標によって決まるのです。

 

A/Bテストにおいて、よく考えられたKPIはアプリのどの部分に注力すればいいのかをはっきりさせるでしょう。アプリの分析ツールを使ってKPIをはかり、プロダクトの弱点となり得る部分を見つけ、改善する部分の優先順位付けをしましょう。そして、A/Bテストで得られた知見を生かしてその弱点を無くしましょう。

 

ダウンロード数を増やす必要がある?アプリストアの詳細ページと、アプリのランディングページを色々試してみてください。ユーザーがチャーンしやすい?それとも1セッションあたりのアプリ起動時間が短すぎる?ユーザーが離脱しやすい画面を見つけてそこでA/Bテストを実施してみてください。

 

KPIとアプリの分析ツールについてもっと詳しく知りたい方は、このアプリの分析と指標についてのガイドをご覧ください。

 

3. 良いUIと良いUXが成功の鍵であると肝に銘じる

様々な種類のランディングページ、ショッピングカートのメニュー、トーク画面などをランダムにテストしているとしたら、結果も行き当たりばったりになってしまうでしょう。A/Bテストのテスト対象はターゲットにするユーザー目線のデザインで、良いデザインを生み出すための原則についての広域な調査に基づいているべきです。

 

ただ「変える」ことを目的に何かを変えてKPIを向上させようとしてたくさんの時間を無駄にするも、ユーザーのデータを元にして考え抜かれたデザインの微調整でKPIを向上させるもあなた次第です。

 

ユーザーテストが正しく行われた時

以下に賢明なA/Bテストがしっかり結果をだし、コンバージョン率の向上に役立った実例を挙げておきます。

 

アプリ名:Runkeeper

取り組み:スタート画面を再構成することでユーザーのエンゲージメントを高めた

 

Runkeeperは2008年にリリースされたiOSとAndroid向けの運動記録アプリです。2013年により多くのユーザーにランニング以外の運動も記録してもらうように働きかけることにしました。スタート画面を変えることで、ユーザーがウォーキング、サイクリング、それだけではなくその他の運動も記録するようになるをという仮説を元にA/Bテストを実施しました。

 

image04

出典:Localytics

 

旧バージョンになじんだユーザーを手放すことにもつながりかねないので、スタート画面を変更するのはリスクの高いことです。しかし、Runkeeperの新しいスタート画面はうまく機能しました。アイコンをベースとしたメニュー画面ではより多くのユーザーがランニング以外の運動を記録するようになったのです。結果的に、ランニング以外の運動が記録された回数は235%増えたのです。

 

アプリ名:Škoda

取り組み:アプリストアのスクリーンショットのテストを行った。

 

Škodaはただアプリストアのスクリーンショットの順番を変えただけでŠkoda LittleDriverというアプリのインストール率を50%伸ばました

 

彼らはユーザーが画面を注意してみる時間は8秒前後に減っているという調査に基づいて仮説を立てました。これは平均的なユーザーは全てのスクリーンショットを見たり、長い説明文を読んだりしないということを意味しています。Škodaはそれぞれの効果を確かめるために3種類のスクリーンショットを作成しました。最初のテスト対象はアプリの機能を説明したスクリーンショットでは画像の一番最初の位置に配置しました、2つ目のテスト対象は最初のスクリーンショットを加工したものです。そして、3つ目はそれに空と草原と道路を描いた画像を背景に足したものを使用しました。

 

image01

出典:Bamboo Group

 

1番目のテスト対象を使った時アプリのインストールが50%増加し、一番良い結果を出しました。この結果は予想出来ていましたが、ŠkodaはA/Bテスト価値のある知見をもう一つ引き出していました。ごちゃごちゃした背景はユーザーのコンバージョン率にネガティブな影響を与えることがあるということです。

 

アプリ名: Fab

取り組み:適切なアクションボタンを探し出そうとした

 

Fab(オンラインの小売コミュニティアプリ)は「カートに追加する」ボタンをわかりやすくすると、どのようにカートに追加される商品の数に影響するかをテストしました

 

元々のデザインは小さなショッピングカートマークに「+」マークがついたものでした。一方A/Bテストで使用された代わりのデザインは「Add To Cart」と「+ Cart」というものでした。

 

image00

出典;Wishpond

 

より直接的でわかりやすい「Add To Cart」というアクションボタンを使用した時、クリックが49%増加しました。この一見するとささいな変更がこれほど大きな影響を与えることができるということは、常識に基づいた判断がビジネスで常に一番良い結果が出る訳ではないということを示しています。

 

サービス名:Spreadshirt

取組:ページのデザインをシンプルにし改善

 

SpreadshirtはカスタムTシャツとそのプリントの売買ができるオンラインの小売業者です。

 

Spreadshirtは売り手の数を増やそうとしていました。これを達成するために、Tシャツの売り手になるための手順を示したインフォグラフィックを変更しました。

 

元々のインフォグラフィックは情報が詰まっていて便利でしたが、わかりにくかったかもしれません。

 

image05

出典:Wishpond

 

変更後はミニマリスト的でありながら、売り手になるための手順をわかりやすく示した物でした。

 

image02

出典:Spreadshirt

 

結果はどうなったのでしょうか?「Start selling now」というボタンを押したユーザーの数は606%増加したのです!

 

結論

ここで紹介したA/Bテストが有意義な結果を残したのは、それらがアプリの分析データと鋭いデザインの改善によるものです。

 

まず、ディベロッパーは改善するべき弱点を見つけ出しました。次に、プロダクトをよりわかりやすく、直観的で、使いやすいものにするためにユーザーのことを心に留めながらテストするものをデザインしました。

 

A/Bテストにおける一番の失敗は改善案を裏付けるのに十分な調査なしでランダムにテストを実施することです。モバイルアプリのA/Bテストを行うときは、ユーザーが何をほしいと思っているかを理解し、道理にかなったプロダクトのデザインを行い、そして、本当に意味のある結果を得るために分析とテストを繰り返さなければいけません。

 

この記事は、Medium上の記事 “When Mobile App A/B Testing Gives Really Valuable Results“を著者の了解を得て日本語に抄訳し掲載するものです。Repro published the Japanese translation of this original article on Medium in English under the permission from the author.

セミナー情報

abtest

 

2月2日(木)、「Repro新機能プッシュ通知のA/Bテストと新ダッシュボード徹底解説セミナー」を開催します!

Reproの新機能とともに「真に意味のあるプッシュ通知施策」や「アプリごとの追うべき指標」を解説します!

既にReproの機能について基本的な理解がある方だけでなく、「そもそもプッシュ通知のABテストってなぜ必要なの?」といった疑問がある方や、今もっとも利用されているアプリ成長支援ツールの最新機能について知りたい方のご参加も大歓迎です!

 

こちらからご応募していただけます!