ウェブサイトの改善

　オンラインショッピングなどを行っている企業のウェブサイトでは、より多くの利用者に商品を購入してもらい、売り上げを高めるために、ウェブサイト上のコンテンツの構成・配置、見栄え、文章等を変更するなど、日々、ウェブサイトの改善を行っています。このとき、複数のサイトデザインの候補から最も良いと考えられるものを判断するに当たって、近年、「A/Bテスト」と呼ばれる方法が使われており、その判断の際には統計的な手法が用いられます。

　例えば、ある企業でウェブサイトについて、既存のAパターンと改善案のBパターンのどちらが良いのかを考えているとします。
　まず、一定期間、サイト訪問者のアクセスに対して、ランダムにAパターンとBパターンのサイトを開き、取集されたアクセスログをもとに、2つのパターンを比較するテストを行います。このときに比較されるのは、購買率などの企業の利益に関連する数字であり、これを基にどちらのパターンが優れているかを判断します。
　テストにより、既存のAパターンと改善案のBパターンのアクセス数1万人ずつのアクセスログを解析した結果、Aパターンでは購買率が10.0％（1,000人）であったのに対し、改善案のBパターンでは10.3％（1,030人）に伸びたとします。
　単純に考えると、改善案であるパターンBを採用すると、売り上げは約1.03倍（＝10.3％÷10.0％）に伸びる可能性があり、例えば、現在10億円の売り上げがあったとすれば、3,000万円分の売り上げの増加が見込まれるということです。

A/Bテスト（イメージ）

　しかしながら、購買率が10.0%から10.3%となり、0.3%上昇したわけですが、この差はサイトを改善したことによる差なのか、それとも偶然発生した誤差による差なのかはよくわかりません。このとき、この差が「意味のある違い」なのか、それとも「誤差でもこれくらいの差は生じるのか」を確認する際に、統計的な手法が用いられます。
　上記の例で挙げたテスト結果に対して、カイ二乗検定と呼ばれる統計的な手法を用いると、「実際には何の差もない状況でも、データの誤差によって、「1万人中30人またはそれ以上の差が生じる確率は48.2%^（※1）」という結果が示されます。このため、上記例の0.3%の上昇は、統計的に意味のある差（有意な差）とは言えない、と判断されるわけです。
　ちなみに、アメリカ合衆国のバラク・オバマ大統領は、大統領選挙のキャンペーン中に寄付やボランティアをウェブサイトやメールで募る際に、サイト構成案やメールのタイトル・文章案を複数用意し、A/Bテストを行ったことが知られています。そして、最も反応がよかったものを実際に使い、有利な選挙戦を進めたことが知られています。

（※1）　実際は何の差もないのに誤差や偶然によって差が生じる確率は、P値と呼ばれています。計算されたP値がある一定水準以下（この水準は「有意水準」と呼ばれます。）であれば、「得られた結果は、偶然得られたとは考えにくい。」と統計的に判断されます。なお、有意水準は、対象とする事項により異なりますが、一般的には5%が用いられます。

 

参考文献

統計学は最強の学問である、西内啓著、ダイヤモンド社