メールのABテストをする前に知っておきたい4つのこと
「件名に○○を入れると開封率が高いかも！」
「クリックボタンの色は暖色の方がクリック率が高いんじゃない？」………
メール配信を始める時や継続して配信していると、このような「気づき」がいくつか浮かびますよね。
メールの効果を上げたいと思うのは、担当者なら誰しも思う事。そこで、大切な事は、その「気づき」を地味ではありますが、検証（テスト）を重ねて「知見」に変えて勝ちパターンを確立していく地道な努力です。ただ、そのやり方を間違えるとその努力も検証に掛けた時間も無駄になりかねません。
このコラムでは、メール検証でオーソドックスな「ABテスト」について事前に知っておきたい4つのことをお話していきます。
目次
ABテストは、メールの配信結果（効果）を上げるために検証を行うことです。基本的には対象者を2つ以上のグループ（セグメント）に分けて、どちらの配信結果（効果）が高くなるかをテストします。対象者を分割して行うことから「スプリットランテスト」とも呼ばれます。
まず、忘れてはいけないのが「なんのためにABテストを行うか」を考えること、つまり「目的」を整理する事です。その目的によって、対象者や配信に必要な抽出条件が変わってきてしまいます。ABテストを検討していく中で、「目的」には何度も立ち返りブレがないかチェックしましょう。
合わせて、「仮説」も考えておきましょう。ABテストの結果がどうなると○なのか、どうなってほしいのかを考えておく事です。仮説がテストの切り口となる場合もありますね。冒頭の例でお話した「件名に○○を入れると開封率が高くなる」という「仮説」を実証するテストですね。仮説を立てる際は、これまでの配信結果から得られる傾向や競合分析の結果など、使えるデータは振り返りをして活用しましょう。
ABテストの結果を左右するのは、「企画をしっかり練れていたかどうか」と言っても過言ではありません。企画を立てる際には、色々な事を想定して整理しておかないと意味のないABテストになってしまいます。以下の項目を参考にして、企画を考えていきましょう。
（1） 1度のテストで検証するのは1つにしよう！
1度のテストで検証するのは、1つの要素・切り口にしましょう。1度に複数項目の検証をしてしまうと、何が結果を左右したのかがわからなくなります。
（2） 汎用性のある切り口でテストを行おう！
例えば、「オープニングセール」の様な基本的には機会が1度しかないものに関する件名のABテストを企画しても、そこで得た知見を反映する機会がありません。できるだけ繰り返し使える、汎用性のある切り口でテストを行いましょう。
（3） 効果測定指標を決めよう！
メールの配信結果（効果）に影響を与える主な要素には、以下の3つがあります。それぞれの要素に対して、テストの項目や効果測定指標が違います。企画をする際に必ず整理しましょう。
例えば、「件名の効果を上げたい」場合は開封率が効果測定指標となりますが、開封率が取得できない「テキストメール」で配信したのでは測定ができません。
（3） 効果測定指標を決めよう！
効果測定指標については「今一度確認したい　Eメールマーケティングの効果測定指標」もご参考にしてみてください。
（4） 検証対象を明確にして実行可能性を確認しよう！
検証対象を明確にし、何を比較して効果をみるのかも整理しましょう。その上で、想定する検証対象層を抽出して配信できるかなどの実行可能性を事前に確認しておきましょう。例えば、「30代の男性に利く件名」のABテストをしたいと考えた場合、元々のデータベースに「年代」「性別」のデータがなければ、抽出することができません。また、配信対象者数が少ない場合、有効なテスト結果が得られなくなるので配信対象者数も確認しておきましょう。
（5） 検証計画書を作って共有しよう！
検証計画を考える際に整理していく項目は、主に「目的」「検証テーマ・仮説」「配信時期」「検証対象メール」「抽出条件」「グループ（セグメント）」「グループ（セグメント）ごとの配信対象者数」「指標」などです。これらをシートに落とし込み、関係者に共有しましょう。企画者・制作者・抽出担当者・配信担当者・結果分析者の全員が認識を共通に持ち、各視点から計画に抜け落ちがないか確認することが大切です。
（6） 運用負荷も考えておこう！
ABテストは2つ以上のグループに分けて、場合によってはコンテンツも分けて配信するため制作時にも配信時にも負荷がかかります。この点に留意して、事前の社内調整もお忘れなく！
4.ABテストに欠かせないこと＜データ編＞
計画が整理できたら、配信結果のデータが正しく取得できるように抽出、メール設定を行うことが重要です。
各グループ（セグメント）毎に分けて配信結果のデータを取得できるように、配信システムや分析ソフトなどの条件を確認しておきましょう。
配信リスト作成時のワンポイントアドバイス
配信対象者のリストを「ランダムに分けることができるか」も重要です。
直近にメール登録をした人は、開封率やクリック率が高いことが多く、登録から時間が経った人ほど反応が低い事が一般に言われています。配信リストを作成する際に、例えば、登録日が古い順で並べたリストを上から半分をAグループ、それ以外をBグループとして抽出してしまうと、Aグループの方が登録から時間が経っており、結果が不利になることがあります。
以上、『メールのABテストをする前に知っておきたい4つのこと』をお話してきました。
ABテストはメール改善には欠かせないステップです。実施できそうなテストから実施していき、「気づき」を「気づき」で終わらせずに、ぜひ「鉄板知見」として貯めていく運用を定着させていきましょう。


高橋 尚子

映像制作会社でのディレクション業務を経て、ディレクタスに入社。 タイヤメーカーのwebサイト運営、航空会社のメール制作・Eメールマーケティング戦略立案・PDCAサイクル運営サポート、自社のマーケティング担当などを経て、近年は、飲料メーカーや建材メーカーなどのEメールマーケティング企画制作やPDCAサイクル運営サポートに従事。