ネット調査で手抜き回答を誘発する質問を置いといて、手抜き回答をされると「手抜きされました」と主張する論文があるらしい

　何なのかなあと思ったのがこれ。

ネット調査、「手抜き」回答横行か　質問文読まずに…
http://digital.asahi.com/articles/ASH9C6QWKH9CUZPS001.html
 オンライン調査モニタのSatisficeに関する実験的研究1）
https://www.jstage.jst.go.jp/article/jssp/31/1/31_892/_html/-char/ja/

　ネット調査は単品でやらずに複数用いたり、定点観測で毎月やりながら傾向をみたりするために用いることが多い分、手抜きというか虚飾性を排除するためにあれこれ工夫をするわけなんですが、読み飛ばされて手抜きと判断された設問はこれです。

　あのさあ…　まあやりたいことは分かるんだけど。

　Satisficeに関する議論は昔からあって、ネット調査の対策ノウハウとしては「なるだけ前提条件を短く、設問を分かりやすくして回答内容が平易に理解できるものにする」「一度あたりの調査時間が短くなるようにし、追加調査で同一回答者の『揺らぎ』がおきないようにする」「世間一般に知られている分野の調査であれば、定点観測ごとにフレッシュな回答者を用意できるようにする」「会社ごとにパネルの傾向が変わる（House effects）ので、後日検証やバイアスを処理しやすいよう複数の調査会社を併用する」といったものはあると思います。

　そりゃ単品の調査会社にパネルを組ませて、上の画像のような長文で被験者の関心を呼ばないような前提を長く記した質問文は適当に回答されるだろうし、まじめに答えないものが含まれたりするのも当たり前だと思うんですよね。

　普通は、適当に回答されないように工夫をして、A/Bテストやったりして設問を練り、有効回答率を引き上げて、再現性を確認して、という手順は踏むはずなので、今回の論文のように回答者に手抜きを誘発するような長文で意味の乏しい質問を掲げて率が高いというのは恣意性が強すぎて参考にならないんじゃないでしょうか。

　で、そもそもの話をするならば、論文の中でも触れられている通り「Satisfice傾向と回答所要時間」において、違反群もまたパネルであるという大原則をすっ飛ばしているのが気になります。極論を言えば、日本人の意識調査をしたとき、そのうちのｎ％に犯罪者が混ざっていたからといって、その人も日本人なのだから精読し被験されるレベルの平易な質問で構成するべきという話です。明らかに精読されないような長文の質問項目で検査するのは問題だろうと。

　私であれば、次のような設問を用意します。

「以下の特性のうち、あなたにあてはまるものはあるかもしれませんが、以下の質問には回答せずに（つまり、どの設問にもクリックせずに）次のページに進んでください。

さまざまな意見を聞いたり議論することが楽しい ：あてはまる・どちらでもない・あてはまらない
政治や経済など、社会の出来事や状況に関心を持っている ：あてはまる・どちらでもない・あてはまらない
自分の知識や経験を社会に生かしたい ：あてはまる・どちらでもない・あてはまらない」

　そして、これでもチェックする人は出てくるでしょう。なぜならば、設問の下にある条件と選択肢「あてはまる」「あてはまらない」というところだけ読んで回答する人は一定数出てくるからです。要するに、設問を読まずとも、条件と選択肢が提示されていれば、ネットアンケートに限らず被験者は回答できてしまうので、効率よく回答したいというモチベーションの被験者が一定割合いる限りにおいて必ず設問は読み飛ばされるという意味でもあります。設問が無くとも、条件と選択肢だけみて回答できる構成なら、必ず虚飾性は発生します。

　それは、ネット調査への信頼度や被験者の手抜きだけの問題でしょうか。
　紙媒体やRDDでの調査で、ネットに比べて格段に信頼性が高いという結論が出れば話は別ですが、RDDでこのような設問をすることは不可能で、似た手法をやれば虚飾性が発現するよりも先に有効回答数が下がるでしょう。

　他にも適当に回答されることを避けるために15問以下にしとけとか、まとめと展望が言いがかりな感じで素敵だったという点も踏まえて、今後の研究活動に生かしていっていただければと思います。

　よろしくお願い申し上げます。

---

【好評配信中！】ご購読はこちら→やまもといちろうメールマガジン『人間迷路』
【月1で豪華ゲストが登場！】山本一郎主宰の経営情報グループ「漆黒と灯火」詳細はこちら！