ShrinkTextbox- Webアンケートの自由記述回答欄サイズ変化 による回答の質向上法

ShrinkTextbox: Webアンケートの⾃由記 述回答欄サイズ変化 による回答の質向上法 ⼭﨑郁未 畑中健壱（明治⼤学） 中村聡史（明治⼤学） 1

背景 • Webアンケートは ⼿軽に多くの回答を集めることができる • データが多く必要となる社会調査や 研究の基礎データの収集に利⽤されている 2

背景 • ⾃由記述設問はアンケートにおいて重要 →回答者の多様な回答を得られる • 他の形式の設問より回答負担が⼤きい[Couper 2013] Couper, M. P., Kreuter, F.. Using paradata to explore item level response times in surveys. Journal of the Royal Statistical Society, 2013, vol.176, no. 1, p. 271-286. 3

背景 ⾃由記述設問で不真⾯⽬回答が⾒られる • 回答者全員が回答できる設問で 「特になし」「わからない」 • 「fdjkgfg」「xxx」などの適当な⽂字列 4

背景 不真⾯⽬回答はデータの質や検定⼒の維持に 悪影響を及ぼす [Maniaci 2014] →分析する際に，検出し除外する必要がある Maniaci, M. R., Rogge, R.D.. Caring about carelessness: Participant inattention and its effects on research. Journal of Researchin Personality, 2014, vol. 48, p. 61-83. 5

背景 • アンケートに検出⽤の設問を追加して 不真⾯⽬回答を検出する⼿法が考案されている [Oppenheimer 2009] ↓ • しかし分析対象が少なくなってしまう問題 不真⾯⽬回答がそもそも集まりにくくすることが重要 Oppenheimer, D. M., Meyvis, T., Davidenko, N.. Instructional manipulation checks: Detecting satisficing to increase statisticalpower. Journal of Experimental Social Psychology, 2009, vol. 45, no. 4, p. 867-872. 6

背景 Webアンケートで質の良い回答を得るために 不真⾯⽬回答が集まりにくくすること 回答者個⼈の回答の質を向上させることが重要である 7

⽬的 不真⾯⽬回答者をアンケートから 離脱させつつ，回答者の 回答の質を向上させること 8

関連研究 回答欄が回答に影響を及ぼす • ⼤きい回答欄は無回答が増える[Zuell 2015] • ⼤きい回答欄の⽅が⼩さい回答欄より⽂字数が増えた • 回答欄に，⽂字数カウンターを配置 →⽂字数が増えた[Emde 2012] Zuell, C., Menold, N., Ko ̈rber, S.. The Influence of the Answer Box Size on Item Nonresponse to OpenEnded Questions in a Web Survey. Social Science Computer Review, 2015, vol. 33, no. 1, p. 115-122. Emde, M., Fuchs, M.. Using Adaptive Questionnaire Design in Open-Ended Questions: A Field Experiment. paper presented at the 67th Annual Conference of the American Association for Public Opinion Research (AAPOR). 9

関連研究 • ⼤きい回答ボックスは無回答が増える[Zuell 2015] Zuell, C., Menold, N., Ko ̈rber, S.. The Influence of the Answer Box Size on Item Nonresponse to Open-Ended Questions in a Web Survey. Social Science Computer Review, 2015, vol. 33, no. 1, p. 115-122. 誰もが回答可能な，回答必須の⾃由記述で⼤きい回答欄を • ⼤きい回答ボックスの⽅が⼩さい回答ボックスより⽂字数が増 提⽰することで無回答をするような⼈を離脱させられる えた[Emde 2012] • 回答ボックスに，⽂字数カウンターを配置 →⽂字数が増えた[Emde 2012] Emde, M., Fuchs, M.. Using Adaptive Questionnaire Design in Open-Ended Questions: A Field Experiment. paper presented at the 67th Annual Conference of the American Association for Public Opinion Research (AAPOR). 10

提案⼿法 ShrinkTextbox 初期状態：⼤きい回答欄 回答に応じて徐々に⼩さくなる 本研究では⽂字数の最⼤値 「30⽂字」で通常サイズ 11

提案⼿法 初期状態で⼤きい回答欄を提⽰ →不真⾯⽬回答者の離脱 回答に応じて回答欄が⼩さくなる →真⾯⽬回答者の離脱を防ぐ 回答するモチベーションの付与 12

実験 • 仮説「初めに⼤きい回答欄を提⽰することにより 離脱が増える」 「⽂字数に応じて回答欄が⼩さくなることにより 回答が⻑くなる」 • 1000名に依頼（Yahoo!クラウドソーシング） 13

実験 • テーマは「⾃炊に関するアンケート」 • ⾃由記述設問は3問（7問中） • 独⾃のアンケートシステムを使⽤ • 回答者はランダムで回答欄が割り振られる 14

実験 提案⼿法群 通常回答欄群 ⼤回答欄群 15

結果 設問ごとの離脱率(%) Q4 Q6 設問ごとの平均⽂字数 Q7 Q4 Q6 Q7 合計 提案⼿法 1.5 0.8 0.2 提案⼿法 15.3 17.9 11.6 15.0 通常回答欄 0.9 0.3 0.6 通常回答欄 14.8 17.1 11.1 14.4 ⼤回答欄 3.6 0.0 0.5 ⼤回答欄 16.7 17.2 11.0 15.0 17

結果 設問ごとの離脱率(%) Q4 Q6 設問ごとの平均⽂字数 Q7 Q4 Q6 Q7 合計 提案⼿法 1.5 0.8 0.2 提案⼿法 15.3 17.9 11.6 15.0 通常回答欄 0.9 0.3 0.6 通常回答欄 14.8 17.1 11.1 14.4 ⼤回答欄 3.6 0.0 0.5 ⼤回答欄 16.7 17.2 11.0 15.0 18

結果 設問ごとの離脱率(%) Q4 Q6 設問ごとの平均⽂字数 Q7 Q4 Q6 Q7 合計 提案⼿法 1.5 0.8 0.2 提案⼿法 15.3 17.9 11.6 15.0 通常回答欄 0.9 0.3 0.6 通常回答欄 14.8 17.1 11.1 14.4 ⼤回答欄 3.6 0.0 0.5 ⼤回答欄 16.7 17.2 11.0 15.0 19

結果 設問ごとの離脱率(%) Q4 Q6 設問ごとの平均⽂字数 Q7 Q4 Q6 Q7 合計 提案⼿法 1.5 0.8 0.2 提案⼿法 15.3 17.9 11.6 15.0 通常回答欄 0.9 0.3 0.6 通常回答欄 14.8 17.1 11.1 14.4 ⼤回答欄 3.6 0.0 0.5 ⼤回答欄 16.7 17.2 11.0 15.0 20

考察 • 「初めに⼤きい回答欄を提⽰することにより離脱が増える」 という仮説を⽀持する傾向が⾒られた • ⼀⽅で，⽂字数に関してはどの群もほとんど差がなかった 特にQ6，Q7では⽂字数がほとんど同じ 22

考察 Q6の⽂字数の分布 23

考察 Q6の⽂字数の分布 設問：計量することが⾯倒である理由 ⾯倒ではない⼈ 「計量することは⾯倒ではありません。」 24

考察 計量することがとても⾯倒である⼈の平均⽂字数 Q6 提案⼿法 22.5 通常回答欄 16.4 ⼤回答欄 16.6 提案⼿法の⽂字数が多い 26

考察 計量することがとても⾯倒である⼈の平均⽂字数 Q6 提案⼿法 22.5 アンケートの設問を変更して再度実験を⾏う 通常回答欄 16.4 ⼤回答欄 16.6 提案⼿法の⽂字数が多い 27

追加実験 • 仮説「初めに⼤きい回答欄を提⽰することにより 離脱が増える」 「⽂字数に応じて回答欄が⼩さくなることにより 回答が⻑くなる」 • 1000名を対象（Yahoo!クラウドソーシング） 28

実験条件 • テーマ「⽔族館に関するアンケート」 • ⾃由記述設問は4問（11問中） • 誰もが回答可能な設問を設置した 29

結果 設問ごとの離脱率(%) Q6 Q7 Q8 設問ごとの平均⽂字数 Q10 Q6 Q7 Q8 合計 Q10 提案⼿法 0.8 0.2 1.1 0.3 提案⼿法 13.5 7.8 19.7 19.1 14.6 通常回答欄 0.3 0.3 0.6 0.0 通常回答欄 10.2 6.0 17.0 17.8 12.6 ⼤回答欄 2.0 0.3 0.3 0.3 ⼤回答欄 14.1 8.3 19.6 19.6 14.7 30

結果 設問ごとの離脱率(%) Q6 Q7 Q8 設問ごとの平均⽂字数 Q10 Q6 Q7 Q8 合計 Q10 提案⼿法 0.8 0.2 1.1 0.3 提案⼿法 13.5 7.8 19.7 19.1 14.6 通常回答欄 0.3 0.3 0.6 0.0 通常回答欄 10.2 6.0 17.0 17.8 12.6 ⼤回答欄 2.0 0.3 0.3 0.3 ⼤回答欄 14.1 8.3 19.6 19.6 14.7 31

結果 設問ごとの離脱率(%) Q6 Q7 Q8 設問ごとの平均⽂字数 Q10 Q6 Q7 Q8 合計 Q10 提案⼿法 0.8 0.2 1.1 0.3 提案⼿法 13.5 7.8 19.7 19.1 14.6 通常回答欄 0.3 0.3 0.6 0.0 通常回答欄 10.2 6.0 17.0 17.8 12.6 ⼤回答欄 2.0 0.3 0.3 0.3 ⼤回答欄 14.1 8.3 19.6 19.6 14.7 32

考察 離脱増え，仮説通りの傾向が⾒られた →⼤きい回答欄が提⽰されたことで，⾯倒だと感じ 離脱者が増えたと考えられる ただ今回は1000名を対象とし3条件だったので 1⼈の離脱が⼤きく影響した →⼈数を増やして再度実験を⾏いたい 34

考察 ⽂字数について 提案⼿法群，⼤回答欄群の⽅が通常回答欄より⽂字数が多い →先⾏研究と同様，⼤回答欄が通常回答欄より有効 また提案⼿法も，通常回答欄より有効 ⽂字数が増えただけで，回答の質が向上したとは限らない 35

考察 設問ごとの平均改⾏数 Q6 Q7 Q8 Q10 提案⼿法 0.72 0.70 0.15 0.33 通常回答欄 0.23 0.20 0.06 0.25 ⼤回答欄 0.89 0.77 0.13 0.42 36

考察 設問ごとの平均改⾏数 Q6 Q7 Q8 Q10 提案⼿法 0.72 0.70 0.15 0.33 通常回答欄 0.23 0.20 0.06 0.25 ⼤回答欄 0.89 0.77 0.13 0.42 37

考察 設問ごとの単語数 Q6 Q7 Q8 Q10 提案⼿法 6.8 2.3 11.4 11.1 通常回答欄 5.2 2.1 9.6 10.2 ⼤回答欄 6.8 2.4 11.0 11.0 38

考察 設問ごとの単語数 Q6 Q7 Q8 Q10 提案⼿法 6.8 2.3 11.4 11.1 通常回答欄 5.2 2.1 9.6 10.2 ⼤回答欄 6.8 2.4 11.0 11.0 39

考察 提案⼿法群，⼤回答欄群 →⽂字数，改⾏数，単語数が多い 通常回答欄 →⽂字数，改⾏数，単語数が少ない ただ単に⽂字数が増えただけでなく， 回答されたトピックが増えた可能性 正確に調査するには回答分類をする必要 40

展望と課題 離脱率が⾼い結果であったが，1⼈の離脱が⼤きく影響 →⼈数を増やして再度実験をしたい また，離脱した⼈が実際に不真⾯⽬回答者かどうかわからない →不真⾯⽬回答者かどうかも含め，調査を⾏いたい 41

展望と課題 ShrinkTextboxのプロトタイプとして今回実装した 回答欄が⼩さくなる要因 • ⽂字数の最⼤値，回答時間，単語数など 通常回答欄になるのに，今回30⽂字と設定していた →今後は適切な条件を調査していきたい 42

まとめ 背景：Webアンケートにおいて不真⾯⽬回答が多い ⽬的：不真⾯⽬回答者をアンケートから離脱させつつ， 回答者の回答の質を向上させること ⼿法：回答に応じて回答欄が⼩さくなるShrinkTextbox 結果：提案⼿法群，⼤回答欄群 ‧⽂字数が多くなる ‧離脱率が⾼くなる 43