勝ったはずなのに、下がった

赤いボタンと緑のボタンをテストする。2週間待つ。Aパターンのクリック率が少し高かった。本番に反映する。

翌月のRMSを開く。全体のCVRは、テスト前より下がっている。

「テスト結果は正しかったはずなのに」。この経験が積み重なると、A/Bテストへの信頼が揺らぎ始めます。

次のテスト案を考える。キャッチコピーを変える。ファーストビューの写真を変える。ボタンの文言を変える。それでも結果は誤差の範囲に収まる。次に何をテストすればいいかが見えなくなる。

A/Bテストでできるのは、2つの違いを比べることです。
ただ、読者がその前で止まっているなら、どちらを比べても大きな差は出にくくなります。

A/Bテストは、比べた2つのうち、どちらが良かったかを見るためのものです。

ただし、読者がその箇所まで来ていない。あるいは、その箇所に来る前に「自分には関係ない」と感じて離脱している。この状態では、ボタンの色や文言を比べても数字は動きにくいままです。

何を変えても、差が出ない

テスト結果が誤差の範囲に収まることが続くと、「もっと大きく変えないと分からないのかもしれない」と考えます。

次は見出しを大きく変える。次はファーストビューの構成を丸ごと変える。次はレビューの位置を変える。変更は大きくなっていく。

要素に目が向く理由
事業者が見ている場所
テストする要素の違いが小さすぎる。あるいは選び方が間違っているから差が出ないと考える
残っている可能性
読者がその要素に反応する前に止まっている。AもBも、読者にとって大きな違いとして届いていない

ボタンの色が原因で止まっているなら、色を変える意味があります。

でも、読者がボタンにたどり着く前に離脱しているなら、ボタンの色を変えても数字は動きにくい。ファーストビューの見出しも同じです。読者がその言葉を自分の話として受け取れていなければ、AでもBでも通過されます。

A/Bテストを使う場合。
ECでは、A/Bテストが改善策として語られてきました。どれも必要な場面があります。ただ、テストで分かるのは、比べた2つの差です。ページ内で読者がどこで止まっているかまでは、別で見る必要があります。

勝ったのに、全体は動かない

特定のセクションでA/Bテストを行い、Aパターンが勝つ。本番に反映する。しかし全体のCVRは変わらない。あるいは翌月に下がっている。

このとき、テスト結果が間違っていたとは限りません。見ていた場所が狭かった可能性があります。

勝ったのに下がる理由
事業者が信じている原因
テストで勝ったパターンを反映すれば、ページ全体のCVRも上がるはずだと考える
残っている可能性
テストで見ているのは、変更した箇所の差です。ページは前後の流れで読まれるため、その箇所だけが良くなっても、前で止まっている読者には届かない

ページは、部品の集合ではありません。読者は上から順に読み、途中で納得したり、疑ったり、離脱したりします。

途中の1箇所を良くしても、その前で止まっている読者には届きません。逆に、1箇所だけを強くすると、前後の話とズレて、ページ全体の読み方が悪くなることもあります。

他社で勝った型を入れても、変わらない

テストのアイデアが枯渇したとき、「他社でCVRが上がった見出し」「成果が出たボタン文言」「成功事例のファーストビュー」を参考にすることがあります。

表面だけを見ると、すぐに使えそうに見えます。しかし自社ページでは反応しない。

他社事例で残る問題
市場で選ばれやすい手段
他社で効果が出たキャッチコピーやデザインの型を、自社のA/Bテスト素材として使う
それでも残る問題
他社で効いた表現は、その会社の商品と読者の中で効いたものです。自社の読者が止まっている場所と合っていなければ、借りてきた表現も流される

他社で効いた表現は、その会社の商品、その読者、そのページの中で意味を持っていました。

自社の読者がどこで止まっているかが見えていないまま表現だけを借りても、同じようには届きません。結果として、「何をテストしても差が出ない」という状態が続きます。

A/Bテストで止まるページの3つの状態

何を変えるべきかが見えていない

「次は何をテストすればいいか」が分からない。これは、アイデア不足だけの問題ではありません。

ページ内で読者がどこで止まっているかが見えていないため、何を変えるべきかを選べない状態です。

どこで止まっているかが見えていれば、見出しを変えるのか、写真を変えるのか、順番を変えるのかが見えやすくなります。そこが見えないままでは、テストは候補探しになります。

結果を待つ間に、機会が流れる

アクセスが少ないページでA/Bテストを行うと、結果が見えるまでに時間がかかります。

月に数千PV以下のページで、ボタンの色や細かい文言を比べる。結果が出るまでに数ヶ月かかる。その間にも、ページへ来た読者は買わずに離脱していきます。

アクセスが少ない段階では、細かいテストより先に、ページ内で止まっている場所を見る方が現実的です。

部分だけ直して、流れが崩れる

お客様の声を上に移動する。FAQを削る。ファーストビューのコピーを強くする。

それぞれの変更は、単体では良く見えることがあります。ただ、ページ全体として読むと、話のつながりが悪くなることがあります。

部分だけを直し続けると、どのセクションが何のためにあるのかが見えにくくなります。結果として、長いのに読まれないページが残ります。

テストで動くページ、止まるページ

止まるページでは、どこで読者が止まっているかが見えないままテストが繰り返されています。

ボタン、見出し、色、順番。比べる対象は増えます。しかし、読者が止まっている場所と合っていなければ、どれを比べても差は出にくい。

テストで動くページでは、先に読者が止まっている場所を見ています。そのうえで、そこをどう変えるかを比べています。

A/Bテストが動かない理由は、テストの手法だけではありません。
テストの前に、読者がページ内のどこで止まっているかを見る必要があります。

以下の状態が続いているなら、A/Bテストの前に確認すべき場所があります。

無料診断
テストの前に、止まっている場所を見る。
A/Bテストを繰り返してもCVRが動かないなら、ページ内で読者が止まっている場所が残っている可能性があります。
どこで買う理由が届いていないかを確認します。
URLを送るだけで、2営業日以内に診断レポートをお送りします。
テスト前に診断する
※営業電話は一切いたしません。

まとめ

ECでは、A/Bテストが購入率改善の手段として語られてきました。ボタン、見出し、写真、ファーストビュー。比べることで分かることはあります。

ただ、A/Bテストで分かるのは、比べた2つの差です。ページ内で読者がその前に止まっているなら、どちらを比べても大きな差は出にくくなります。

A/Bテストを始める前に、ページ内で読者がどこで止まっているかを確認する。そこが見えると、何をテストすべきかの見え方が変わります。