「ＷＥＢ調査再考 ～より精度の高いデータのために～」
よしだ まさし
| １．はじめに ＷＥＢ調査が誕生した当初、ＷＥＢ調査を市場調査に導入するかどうかを検討する上で最大の論点となったのは、はたしてＷＥＢ調査に代表性があるのかどうかという点であった。しかし、インターネットが市場調査にとって極めて便利なツールであるということは間違いなく、代表性に関する議論を置き去りにしたまま利用が先行し、その結果としてＷＥＢ調査はごく日常的に利用される調査手法のひとつとして確実に定着していった。 しかも、その間に個人情報保護意識の高まりのマイナス効果としての回収率の低下、住民基本台帳の閲覧禁止などといったさまざまな社会環境の変化があり、従来の調査手法であっても代表性を確保することは極めて困難な状況となった。そのため、ＷＥＢ調査に代表性があるかどうかを問題にすること自体があまり意味をなさなくなってきた。代表性がないということを理由にＷＥＢ調査を否定するのならば、他の多くの手法も同様に否定されなければならないからだ。 社会調査を行なっているわけではないので、調査目的に役立つデータであるのならば、代表性があるかどうかにはこだわらないというのが、多くのマーケティングリサーチャーのとる立場であろう。 そして、インターネット人口の急激な増加と、複雑な画面コントロールテクニックの開発を追い風にして、ＷＥＢ調査は市場調査の主流の調査手法へと成長した。2010年度の実績では、アドホック調査の売上高に占めるＷＥＢ調査の手法別構成比は40％となっている（マーケティング・リサーチャー №115）。 しかし、本当にＷＥＢ調査は正しいデータを提供できているのだろうか。いまさら代表性うんぬんを言うつもりはないが、便利なツールということに寄りかかって、ＷＥＢ調査の特性というものを忘れた利用が多くなってきてはいないだろうか。何も考えずに、「ＷＥＢ調査を実施しさえすればデータが得られるのだからそれでいいだろう」などという安易な利用に走ってはいないだろうか。 とりわけ気になっているのは、どうも「嘘をつく回答者」が増えてきているらしいという状況である。本調査に進みたいがために、スクリーニング調査の段階で積極的に嘘をつく者もいれば、積極的ではないにしても、いい加減な回答をすることで結果として嘘の回答となっている者など、そのレベルはさまざまであるのだけれど、ＷＥＢ調査の集計・分析を担当するたびに、嘘をつく回答者が決して少なくないという感触に悩まされている。 嘘をつく回答者がどのくらいのボリュームで存在するものなのか、調査結果にどの程度の影響を与えているものなのか、裏付けとなるデータがないのではっきりしない。しかし、そうした不誠実なデータを可能なかぎり排除する工夫が必要であろうということは、日々の業務を通じて痛感させられていることである。 本稿では、そうした「嘘をつく回答者」を排除するために、あるいはより精度の高いデータを収集するために、ＷＥＢ調査を実施する際に筆者が気をつけている点をいくつか紹介していこうかと思っている。なにぶんにも、個人レベルで行なっている工夫にすぎず、まだまだ充分なものではないということは承知の上であるが、参考にしていただければと思う。 ２．スクリーニング設問は慎重に 集計作業を依頼されたあるＷＥＢ調査のスクリーニングに、以下のような設問があった。 Ｑ１．あなたは、次にあげるそれぞれの競技・遊技等を、どの程度の頻度で行なっていますか。また、行なっている方はどの程度のお金を使っていますか？
特定の項目に一定以上の頻度で関与し、なおかつ一定以上の金額を使っている者を抽出するためのスクリーニング設問である。 実査が終了した後で、集計作業のためにこのスクリーニングのデータをもらったのだが、その内容を見て呆れかえってしまった。なんと、「中央競馬」から「パチンコ／パチスロ」まで、すべての項目に「ほぼ毎日」と回答した者が1500名中20名弱もいたのだ。また、７項目の頻度を合計して、月間に延べで50日以上になるという者が60名もいたのである。 使用金額も同様で、7項目の合計金額の最高が月間3億4千万円！ つまり、本調査に進むためには、これらの遊技に頻繁に関与し、一定以上の金額をつぎ込んでいると回答した方がいいだろうと対象者条件を推測し、嘘の回答をした者がそれなりにいたということなのだろう。 そして悲しいかな、そういう露骨な嘘の回答をした者が、目論見通りに本調査に進み、集計データとしてこちらにまわってきていたのである。 また、以下のような出現率調査をＷＥＢで行なったことがあった。 ■今年の６月以降に幕張メッセで開催されたイベントについてお聞きします。 問１．次のうち、あなたが行かれたイベントはありますか？ ※このようなイベントには業者招待日と一般公開日とがありますが、一般公開日の参加のみでお答えください。
すでに終了している某イベントの来場者を対象にした調査を行ないたいのだが、モニターを多く抱えているＷＥＢ調査会社だったら対象者を捜し出せないだろうか相談され、「まず無理ですよ」と回答したのだけれど、念のために出現率を確認して欲しいと頼まれて行なったものである。 結果、目的のイベントの来場者は1976サンプルのうち16サンプル、つまり出現率は0.8％となった。まあ、オススメはしないが、大量にスクリーニングをかけて、小サンプルの回収で我慢してもらえるのならば、不可能ではないという出現率ではある。 ところが、よくよくロウデータを見てみると、そのイベントに来場したと回答した人のほとんどは、８つのイベントすべてに行ったと回答している人だったのである。どう考えても、これらのイベントのすべてに来場している人間が何人もいるということはありえない。 他にも、喫茶店を毎日10回以上利用する回答者や、Ｊリーグの試合を毎日スタジアムで観戦している回答者などが続出するデータがまわってきたこともある。「中にはそういうレベルの低い調査を行なっているＷＥＢ調査会社もあるのだな」などと思われるかもしれないが、これらの事例は、いずれも日本を代表する複数のＷＥＢ調査会社で実施したものである。 つまり、対象者の中には、謝礼をもらえる本調査に進みたいがために、対象者の条件を推理して、嘘の回答をする者が確実にいるということなのである。面接調査であれば、これほどまでに露骨な嘘をつくことはないだろうけれど、ＷＥＢ調査ではこうした嘘に対する抵抗感が希薄なのだろう。 スクリーニング調査では、こうした嘘をつく回答者が確実にいるということを念頭に置かなければならない。スクリーニングの設問を作る際には、そうした嘘をつく回答者を排除するテクニックが求められることとなるのだ。 例えば最初の例でいうならば、まず「あなたがこの１ヶ月間におこなったことをお教えください」として、選択肢の中に「映画鑑賞」「温泉旅行」「スポーツ観戦」などのダミーを多く入れて、何の調査であるのか分からないようにしておく。目的の項目にチェックがつかなければ当然対象外であるが、チェックがついたとしても、20項目中の10項目以上にチェックが入ったら対象外にするというようなルールをあらかじめ決めておいて、かたはしからチェックをつける者を排除するようにする。中には本当に１ヶ月の間に映画を見て、温泉旅行に行って、ボウリングをして、競馬に行って、競艇にも行って、ファミリーレストランで食事をしている人もいるかもしれないが、そういうかなり特殊な人を調査対象からはずしたところで、得られるデータの信憑性が疑わしくなるというものでもなかろう。 そうした罠を仕掛けて嘘をつく回答者を排除し、なおかつ実査を依頼したＷＥＢ調査会社にその情報をフィードバックして、以後、その嘘つきモニターを使用しないようにしてもらうというのが望ましい対応策であろう。 なお、そういう場合に嘘つきを理由にモニター登録を解除したのでは、再び登録してきた時の対応が難しくなるので、登録項目に嘘つきフラッグをたてて、アンケートの依頼をしないようにするという対応が望ましい。 ３．分析に必要なデータは本調査で このようにスクリーニング調査で得られたデータは信頼性が低いというのが、筆者が日々感じていることである。嘘をつく回答者を排除する工夫をしたとしても、それでもその罠をすり抜けて本調査に辿り着く者もいるだろう。かつて「２ちゃんねる」の中に、ＷＥＢ調査のスクリーニングを通過するテクニックを披露しあうスレッドがたったことがあるという。こちらがどれだけ工夫をしたとしても、調査対象者条件を推測して本調査に辿り着く回答者を完全に排除することはできないだろう。 ここで問題になるのは、対象者の割付コントロールをスクリーニング設問で行なっているため、主要な分析軸のデータがスクリーニング設問に含まれているということである。単に性別・年代別といったデモグラフィック属性だけを分析軸に採用するのならさほど問題はないが、調査テーマに対する関与度を主要な分析軸とし、なおかつそのデータがスクリーニング設問に依存している場合、分析そのものに大きな影響を与える可能性があるからだ。 たとえば喫茶店利用者を抽出するためのスクリーニング調査を行なったとして、嘘をつく回答者がその設問にどう回答するかというと、おそらくは頻繁に喫茶店を利用する者が本調査に進めるのだろうと推測して、「毎日２回以上」などと回答してくるのではないだろうか。そして、そのデータを利用して「喫茶店利用頻度別」の分析をおこなった場合、ヘビー層の中に嘘をつく回答者が多く含まれることとなってしまう。各層に均等に分散するのならばまだしも、調査目的に大きく関わる層に信用度の低いデータが集中してしまうのである。 実際にこういうデータでのレポーティング作業を依頼されたことがあるのだが、ヘビー層でのデータに限ってありとあらゆる設問で他層とは異なる傾向を示していた。明らかに説明のつかない有意差がいたるところで見られ、唯一可能な説明は「ヘビー層の中にいい加減な回答をしている者が多く含まれている」ということであった。 こういう事態を避けるためには、たとえスクリーニングで聞いた設問であっても、本調査で再度確認するということをすべきであろう。ただし、まったく同じ聞き方をしたのでは同じ回答をされることになるので、聞き方を工夫したり、本調査の後ろの方にもってきたりという工夫は必要になろう。 そして、その２つの回答が大きく食い違っていた場合は、そのサンプルを集計からはずしてしまえばいい。そのためには、多少のオーバーサンプルをとっておく必要があるのだが、そうする価値はあるのだと思う。 （ただし、後述するように、スクリーニングと本調査でのデータの食い違いがあまりにも多いことを隠蔽するために、同じ設問をスクリーニングと本調査の両方に入れることを受け入れてくれないＷＥＢ調査会社もあるらしい。） ４．画面コントロールはほどほどに かつて頻繁におこなわれていた郵送調査では、回収した票の査収作業にかなりの時間をとられていた。あっちこっちで設問間の整合性のとれていない回答が頻出し、それをチェックするという作業がけっこう大変だった。買ったことのないはずの飲料が最も頻繁に買われている飲料となったり、保有自家用車が三菱のカローラであったり、11才で既婚の専業主婦であったりと、思いも寄らない回答が山ほど出現し、そのチェックに追われていた。 ところが、ＷＥＢ調査の技術が発展してくることによって、そのようなチェックはまったく不要のものとなった。最頻購入飲料を聞く設問では買ったことのある飲料だけが選択肢として表示され、保有自家用車は回答したメーカーの車種だけが選択肢となり、11才では未既婚の設問をスキップすることが可能になったからだ。 だが、はたして本当にそれでいいのだろうか？ 購入経験を聞く設問で間違えて回答すると、最頻購入銘柄では答えるべき選択肢が表示されなくなってしまうのである。本当は「トヨタ」をチェックするつもりが、うっかり「三菱」とチェックしてしまうと、「三菱」の車種しか選択肢として表示されないのである。「44才」と回答するつもりが、うっかりテンキーの一段ずれたキーを押して「11才」と回答してしまうと、その後は「11才」を対象とした設問しか表示されないのである。 郵送調査なら投函前にもういちど自分の回答をチェックすることができる。ところが、ＷＥＢ調査では、一度回答したページに戻ることはできない。間違いを修正することは許されず、間違いを前提にした設問が最後まで続いてしまったりするのである。 ここで回答を中止してくれたならばまだしも、謝礼欲しさに最後まで回答してしまうと、まったくでたらめのデータがアップされてしまうことになる。しかも、まったくでたらめに選択肢をクリックしていったとしても、画面コントロールが充実していればいるほど、整合性のとれた回答しかできないようになっているので、その回答がおかしいとは誰にも気付かれることがない。 問題は、うっかりミスではなく、ハナから真面目に答える気がない回答者の場合だ。ろくに設問文も読まず、選択肢をちらっと見ただけで勝手に「こういうことを聞かれているのだな」と判断して、適当に画面をクリックしていく回答者がいったいどのくらいいるものだろうか？ 実験したことがあるわけではないので、どれくらいの割合でそういったいい加減な回答者が出てくるのかは分からないが、スクリーニングで嘘をつく回答者が決して少なくないことから、こちらだって決して少なくはないだろうと思う。 一度、クライアントから、ほとんど画面制御や論理チェックのできないレベルのＷＥＢ調査会社を指定されたことがあった。発注元の系列会社ということで仕方なく利用したのであるが、この時あがってきたデータには致命的な矛盾を含んだサンプルが頻出し、結果として３分の１ほどのデータをカットすることとなった。この出現率が他のＷＥＢ調査会社にも適用できるのかどうかは分からないが、いずれにしても誠意を持って回答してくれている回答者ばかりでないということは間違いない。 また、最近はＷＥＢ調査会社がしっかりチェックするようになったためか見かけなくなったが、フリーアンサーの欄に「あ」とか「a」とか入力しただけという回答も初期の頃にはよくあった。何かしら文字が入っていないと先に進めない設定になっている場合の手っ取り早い対処法だったのだろう。 フリーアンサーの欄に「あ」とか「a」としか入力されていなければ、「あっ、この回答者は真面目に答える気がないのだな」と判断できるものの、選択肢をクリックするタイプの設問からはこうしたいい加減な回答を排除することはできない。どんなでたらめな回答をしたとしても、きっちり整合性のとれた回答となってしまうからだ。 設問の順番を変えたり、選択肢の表示順をランダムに入れ替えたり、不要な設問をスキップしたり、ＷＥＢ調査ならではの画面コントロールは非常に有効ではあるのだけれど、時にはわざと画面コントロールをはずして整合性のとれていない回答も可能なようにしておくのも必要なのではないだろうか。そして、あまりにも致命的な論理矛盾の発生したサンプルはカットするぐらいの勇気は持ちたいものである。 ちなみに、認知銘柄に続いて購入経験銘柄を聞くような設問の場合、多くのＷＥＢ調査会社ではふたつの設問の間でページを切り替え、認知銘柄でチェックのついた項目だけを購入経験銘柄の設問に表示するようにしているのではないだろうか。筆者はこのような画面コントロールは行なわず、このふたつの設問を同一ページに入れるようにしている。そして、購入経験銘柄を答えてから次のページに切り替わるボタンをクリックしたタイミングで、購入経験銘柄から認知銘柄への逆起こし処理をしてもらうようにしている。認知銘柄ではうっかり見落としたけれど、購入経験銘柄で「あっ、これだったら買ったことがあるよ」と気がつく場合も多々あると考えるからだ。 こうしたほんのちょっとした画面コントロールの違いで、うっかりミスの影響をより小さくすることだって可能になるのではないだろうか。 ５．モニター登録情報を信用するな ＷＥＢ調査会社の多くは、設問数によって費用が変わってくるシステムを採用している。そのため、調査票を設計する立場としては、いかにして設問数を少なくするかということを意識せざるを得ないだろう。 「あなたは自家用車をお持ちですか」と聞いて、「持っている」と回答した人に「では、あなたがお持ちの自家用車のメーカーをお教えください」と聞いていたような場合、あと１問減らすことでＷＥＢ調査費が何万円か下がるとなれば、最初から「あなたがお持ちの自家用車のメーカーをお教えください」と聞いて、その選択肢の中に「自家用車は持っていない」を追加したりするのではないだろうか。 回答する者の立場に立つならば、優しい設問とは言えないが、ある程度は仕方のないことだろう。 ところが、ＷＥＢ調査会社によっては、「保有自家用車のメーカーでしたら、モニター登録情報に入ってますから、改めて聞かなくても大丈夫ですよ」と言ってくることがある。調査費用を少しでも安くあげたい立場としては、思わず飛びつきたくなるお誘いである。しかし、自家用車のメーカーというのは、買い替えれば変わってしまう可能性のある特性である。いくらＷＥＢ調査会社が頻繁にモニター登録情報のメンテナンスを行なっていたとしても、調査に協力する時点で登録時の情報のままという保証はまったくない。たとえそのことで１問減らすことができ、調査費用がいくらか下がるとしても、モニター登録情報をそのまま使うのは危険ではないだろうか。 居住区、未既婚といった極めてベーシックな情報であっても、当然変化する。モニター登録情報をそのまま使うのではなく、改めて確認しておくべきであろう。筆者の場合は、さらに性別、年令も必ず設問で確認するようにしている。家族でひとつのメールアドレスを共有していて、本来アンケートをお願いしたかった相手とは異なる属性の家族が回答してしまうことがあるからだ。 つまり、モニター登録情報は集計にはいっさい使用しないことにしている。 実査を依頼するＷＥＢ調査会社からは、基本的な属性はすべてモニター登録情報にあるから設問に盛り込む必要はないと言われるのだけれど、申し訳ないが必要な情報はすべて設問に盛り込むことにしている。「嘘をつく回答者」を排除するというテーマとはまた別のことになってしまうが、より精度の高いデータを得るためには、こうした工夫も必要と考える。 ６．おわりに 自社でＷＥＢ調査のシステムを持っているわけではなく、ＷＥＢ調査の専門会社に実査をお願いしなければならない立場なので、できることは限られてしまうのだが、なるべく精度の高いデータを収集するため、嘘をつく回答者を排除するために、ここに書いたようなことを実施するように心がけている。 どうも筆者には、基本的にＷＥＢ調査の回答者を信用してない傾向があるようなのである。 なぜかと言われても困るのだが、ペンを持って紙に回答を記入していく場合に比較して、キーボードとマウスで回答していくＷＥＢ調査の場合、回答する際の対象者の真摯さが低いように思われてならないのだ。 調査手法による回答者の気分の違いというのは、確実にあるように思われる。 また、モニターにおけるアンケート調査の位置づけというものも、かつてとは随分と違ってきているようにも思われる。 かつての調査では、謝礼欲しさに回答するというよりも、調査会社からお願いされて好意から調査に協力しているといった傾向があったように思う（これはあくまでも、筆者がそう感じていただけのことであり、なんら裏付けとなるデータがあるわけではない）。好意で回答しているからには、わざわざいい加減な回答はせず、誠意をもった回答をしてくれることが期待できた。 それに比べると、最近のモニターはあくまでも謝礼欲しさでアンケートに回答しているという傾向が強いようだ。ミクシィの「リサーチ・モニター・座談会」というコミュニティなどを見ていると、そういった雰囲気がきわめて濃厚で、その露骨さにうんざりさせられることもある。そして、謝礼だけが目的であるならば、嘘をつくことに対する抵抗感が希薄であることも納得できるのではないだろうか。 問題は回答者だけにあるのではなく、実施する側にもあるだろう。調査に協力することでの謝礼が抽選で200円とか300円程度で、そのくせ調査ボリュームがやたらと膨大なものが平気でまかり通っている。５段階評価のマトリックス表が50行も60行も続いたり、ＭＡ設問の選択肢が延々と続いたり、その上でトータルでの設問数が３桁に達するなどという調査票が平気で使われている。真面目に回答したならば、いったいどれだけ時間がかかるのか、考えたくもないような調査票が平気で使われている。せっかく調査をするからには、聞きたいことはすべて聞くという発想なのだろうが、回答する者の立場に立たない調査票をかなり多く見かける。 調査ボリュームの問題はＷＥＢ調査に限らず昔からある問題であるが、調査票を印刷しないＷＥＢ調査の場合、調査ボリュームに対する意識があまりにも低すぎはしないだろうか。 いずれにせよ、あまりにも無自覚にＷＥＢ調査を利用するということは、危険であろうと筆者は考えている。便利な道具ではあるのだが、その正しい使い方というものを、一度、ちゃんと考え直すべきではないだろうか。 できれば、ＷＥＢ調査専業の企業がこうした研究をして、より精度の高いデータを入手するためのテクニックを開発していってくれればと期待しているのであるが、実はＷＥＢ調査専業の企業が、そうしたことに消極的であるということも気になっている。 例えば某社では、スクリーニングで聞いたのと同じ設問を本調査の中にも盛り込もうとすると、かたくなに拒否をされるのだという話を聞いたことがある。 同じことをスクリーニングと本調査とで繰り返し聞くと、その回答の食い違いがあまりにも大きくて、トラブルになってしまうからなのだそうだ。 つまり、回答者がかなりいい加減に回答しているということを自覚しているのである。自覚した上で、それがあからさまな結果として出てくるような設問を入れさせないということを、会社の方針にしているのである。 これはあまりにもひどい話だと思うのだが、そういうことが、例えごく一部であろうとも、まかり通っているのがＷＥＢ調査の世界でもあるのだ。 ＷＥＢ調査は、間違いなく便利な手法である。これからも、市場調査の主流として積極的に利用されていくのも間違いないだろう。しかし、それだけに、より精度の高いデータを収集できるシステムの構築に、関係者の努力を切望したい。 |
| この原稿はもともと、随分前に某業界団体の発行する研究誌に投稿したものなのですが、実はその研究誌には投稿原稿というシステムがなく、なおかつ掲載するには文章量が多すぎるということもあって、掲載してもらえなかったものです。 ま、それはそれで仕方がないのですが、ＷＥＢ調査をめぐる環境はこの原稿を書いた当時よりも、さらに劣悪なものとなってきていると言わざるを得ません。 ＷＥＢ調査会社の一部には（一部と思いたい）、精度がどうあれ、データさえあればいいだろうという意識が見え隠れするように思えてなりません。 「こういうこともできます」「こんな高度なこともできます」という技術的な開発には力を入れていても、その根底にある「精度の高いデータを収集する」ということに関しては、ほとんど努力がなされていません。 ＷＥＢ調査はいま、アドホック調査の売上高の40％を占めるまでに膨れ上がって来ています。 まさに、定量調査の中心を担う手法と言えます。 が、その手法で集められるデータに信用性がおけないということは、マーケティング・リサーチそのものの信用性を失うことに繋がるのではないでしょうか。 業界の中で、なんら発言力も影響力も持ち合わせない僕が、業界の未来を憂えたところで、どうしようもないのですが、微力ながらもこうした現場からの情報発信をしていければと思っている次第です。 |