ShrinkTextbox- Webアンケートの自由記述回答欄サイズ変化 による回答の質向上法

164 Views

January 16, 23

スライド概要

profile-image

明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

ShrinkTextbox: Webアンケートの⾃由記 述回答欄サイズ変化 による回答の質向上法 ⼭﨑郁未 畑中健壱(明治⼤学) 中村聡史(明治⼤学) 1

2.

背景 • Webアンケートは ⼿軽に多くの回答を集めることができる • データが多く必要となる社会調査や 研究の基礎データの収集に利⽤されている 2

3.

背景 • ⾃由記述設問はアンケートにおいて重要 →回答者の多様な回答を得られる • 他の形式の設問より回答負担が⼤きい[Couper 2013] Couper, M. P., Kreuter, F.. Using paradata to explore item level response times in surveys. Journal of the Royal Statistical Society, 2013, vol.176, no. 1, p. 271-286. 3

4.

背景 ⾃由記述設問で不真⾯⽬回答が⾒られる • 回答者全員が回答できる設問で 「特になし」「わからない」 • 「fdjkgfg」「xxx」などの適当な⽂字列 4

5.

背景 不真⾯⽬回答はデータの質や検定⼒の維持に 悪影響を及ぼす [Maniaci 2014] →分析する際に,検出し除外する必要がある Maniaci, M. R., Rogge, R.D.. Caring about carelessness: Participant inattention and its effects on research. Journal of Researchin Personality, 2014, vol. 48, p. 61-83. 5

6.

背景 • アンケートに検出⽤の設問を追加して 不真⾯⽬回答を検出する⼿法が考案されている [Oppenheimer 2009] ↓ • しかし分析対象が少なくなってしまう問題 不真⾯⽬回答がそもそも集まりにくくすることが重要 Oppenheimer, D. M., Meyvis, T., Davidenko, N.. Instructional manipulation checks: Detecting satisficing to increase statisticalpower. Journal of Experimental Social Psychology, 2009, vol. 45, no. 4, p. 867-872. 6

7.

背景 Webアンケートで質の良い回答を得るために 不真⾯⽬回答が集まりにくくすること 回答者個⼈の回答の質を向上させることが重要である 7

8.

⽬的 不真⾯⽬回答者をアンケートから 離脱させつつ,回答者の 回答の質を向上させること 8

9.

関連研究 回答欄が回答に影響を及ぼす • ⼤きい回答欄は無回答が増える[Zuell 2015] • ⼤きい回答欄の⽅が⼩さい回答欄より⽂字数が増えた • 回答欄に,⽂字数カウンターを配置 →⽂字数が増えた[Emde 2012] Zuell, C., Menold, N., Ko ̈rber, S.. The Influence of the Answer Box Size on Item Nonresponse to OpenEnded Questions in a Web Survey. Social Science Computer Review, 2015, vol. 33, no. 1, p. 115-122. Emde, M., Fuchs, M.. Using Adaptive Questionnaire Design in Open-Ended Questions: A Field Experiment. paper presented at the 67th Annual Conference of the American Association for Public Opinion Research (AAPOR). 9

10.

関連研究 • ⼤きい回答ボックスは無回答が増える[Zuell 2015] Zuell, C., Menold, N., Ko ̈rber, S.. The Influence of the Answer Box Size on Item Nonresponse to Open-Ended Questions in a Web Survey. Social Science Computer Review, 2015, vol. 33, no. 1, p. 115-122. 誰もが回答可能な,回答必須の⾃由記述で⼤きい回答欄を • ⼤きい回答ボックスの⽅が⼩さい回答ボックスより⽂字数が増 提⽰することで無回答をするような⼈を離脱させられる えた[Emde 2012] • 回答ボックスに,⽂字数カウンターを配置 →⽂字数が増えた[Emde 2012] Emde, M., Fuchs, M.. Using Adaptive Questionnaire Design in Open-Ended Questions: A Field Experiment. paper presented at the 67th Annual Conference of the American Association for Public Opinion Research (AAPOR). 10

11.

提案⼿法 ShrinkTextbox 初期状態:⼤きい回答欄 回答に応じて徐々に⼩さくなる 本研究では⽂字数の最⼤値 「30⽂字」で通常サイズ 11

12.

提案⼿法 初期状態で⼤きい回答欄を提⽰ →不真⾯⽬回答者の離脱 回答に応じて回答欄が⼩さくなる →真⾯⽬回答者の離脱を防ぐ 回答するモチベーションの付与 12

13.

実験 • 仮説「初めに⼤きい回答欄を提⽰することにより 離脱が増える」 「⽂字数に応じて回答欄が⼩さくなることにより 回答が⻑くなる」 • 1000名に依頼(Yahoo!クラウドソーシング) 13

14.

実験 • テーマは「⾃炊に関するアンケート」 • ⾃由記述設問は3問(7問中) • 独⾃のアンケートシステムを使⽤ • 回答者はランダムで回答欄が割り振られる 14

15.

実験 提案⼿法群 通常回答欄群 ⼤回答欄群 15

16.

結果 設問ごとの離脱率(%) Q4 Q6 設問ごとの平均⽂字数 Q7 Q4 Q6 Q7 合計 提案⼿法 1.5 0.8 0.2 提案⼿法 15.3 17.9 11.6 15.0 通常回答欄 0.9 0.3 0.6 通常回答欄 14.8 17.1 11.1 14.4 ⼤回答欄 3.6 0.0 0.5 ⼤回答欄 16.7 17.2 11.0 15.0 17

17.

結果 設問ごとの離脱率(%) Q4 Q6 設問ごとの平均⽂字数 Q7 Q4 Q6 Q7 合計 提案⼿法 1.5 0.8 0.2 提案⼿法 15.3 17.9 11.6 15.0 通常回答欄 0.9 0.3 0.6 通常回答欄 14.8 17.1 11.1 14.4 ⼤回答欄 3.6 0.0 0.5 ⼤回答欄 16.7 17.2 11.0 15.0 18

18.

結果 設問ごとの離脱率(%) Q4 Q6 設問ごとの平均⽂字数 Q7 Q4 Q6 Q7 合計 提案⼿法 1.5 0.8 0.2 提案⼿法 15.3 17.9 11.6 15.0 通常回答欄 0.9 0.3 0.6 通常回答欄 14.8 17.1 11.1 14.4 ⼤回答欄 3.6 0.0 0.5 ⼤回答欄 16.7 17.2 11.0 15.0 19

19.

結果 設問ごとの離脱率(%) Q4 Q6 設問ごとの平均⽂字数 Q7 Q4 Q6 Q7 合計 提案⼿法 1.5 0.8 0.2 提案⼿法 15.3 17.9 11.6 15.0 通常回答欄 0.9 0.3 0.6 通常回答欄 14.8 17.1 11.1 14.4 ⼤回答欄 3.6 0.0 0.5 ⼤回答欄 16.7 17.2 11.0 15.0 20

20.

考察 • 「初めに⼤きい回答欄を提⽰することにより離脱が増える」 という仮説を⽀持する傾向が⾒られた • ⼀⽅で,⽂字数に関してはどの群もほとんど差がなかった 特にQ6,Q7では⽂字数がほとんど同じ 22

21.

考察 Q6の⽂字数の分布 23

22.

考察 Q6の⽂字数の分布 設問:計量することが⾯倒である理由 ⾯倒ではない⼈ 「計量することは⾯倒ではありません。」 24

23.

考察 計量することがとても⾯倒である⼈の平均⽂字数 Q6 提案⼿法 22.5 通常回答欄 16.4 ⼤回答欄 16.6 提案⼿法の⽂字数が多い 26

24.

考察 計量することがとても⾯倒である⼈の平均⽂字数 Q6 提案⼿法 22.5 アンケートの設問を変更して再度実験を⾏う 通常回答欄 16.4 ⼤回答欄 16.6 提案⼿法の⽂字数が多い 27

25.

追加実験 • 仮説「初めに⼤きい回答欄を提⽰することにより 離脱が増える」 「⽂字数に応じて回答欄が⼩さくなることにより 回答が⻑くなる」 • 1000名を対象(Yahoo!クラウドソーシング) 28

26.

実験条件 • テーマ「⽔族館に関するアンケート」 • ⾃由記述設問は4問(11問中) • 誰もが回答可能な設問を設置した 29

27.

結果 設問ごとの離脱率(%) Q6 Q7 Q8 設問ごとの平均⽂字数 Q10 Q6 Q7 Q8 合計 Q10 提案⼿法 0.8 0.2 1.1 0.3 提案⼿法 13.5 7.8 19.7 19.1 14.6 通常回答欄 0.3 0.3 0.6 0.0 通常回答欄 10.2 6.0 17.0 17.8 12.6 ⼤回答欄 2.0 0.3 0.3 0.3 ⼤回答欄 14.1 8.3 19.6 19.6 14.7 30

28.

結果 設問ごとの離脱率(%) Q6 Q7 Q8 設問ごとの平均⽂字数 Q10 Q6 Q7 Q8 合計 Q10 提案⼿法 0.8 0.2 1.1 0.3 提案⼿法 13.5 7.8 19.7 19.1 14.6 通常回答欄 0.3 0.3 0.6 0.0 通常回答欄 10.2 6.0 17.0 17.8 12.6 ⼤回答欄 2.0 0.3 0.3 0.3 ⼤回答欄 14.1 8.3 19.6 19.6 14.7 31

29.

結果 設問ごとの離脱率(%) Q6 Q7 Q8 設問ごとの平均⽂字数 Q10 Q6 Q7 Q8 合計 Q10 提案⼿法 0.8 0.2 1.1 0.3 提案⼿法 13.5 7.8 19.7 19.1 14.6 通常回答欄 0.3 0.3 0.6 0.0 通常回答欄 10.2 6.0 17.0 17.8 12.6 ⼤回答欄 2.0 0.3 0.3 0.3 ⼤回答欄 14.1 8.3 19.6 19.6 14.7 32

30.

考察 離脱増え,仮説通りの傾向が⾒られた →⼤きい回答欄が提⽰されたことで,⾯倒だと感じ 離脱者が増えたと考えられる ただ今回は1000名を対象とし3条件だったので 1⼈の離脱が⼤きく影響した →⼈数を増やして再度実験を⾏いたい 34

31.

考察 ⽂字数について 提案⼿法群,⼤回答欄群の⽅が通常回答欄より⽂字数が多い →先⾏研究と同様,⼤回答欄が通常回答欄より有効 また提案⼿法も,通常回答欄より有効 ⽂字数が増えただけで,回答の質が向上したとは限らない 35

32.

考察 設問ごとの平均改⾏数 Q6 Q7 Q8 Q10 提案⼿法 0.72 0.70 0.15 0.33 通常回答欄 0.23 0.20 0.06 0.25 ⼤回答欄 0.89 0.77 0.13 0.42 36

33.

考察 設問ごとの平均改⾏数 Q6 Q7 Q8 Q10 提案⼿法 0.72 0.70 0.15 0.33 通常回答欄 0.23 0.20 0.06 0.25 ⼤回答欄 0.89 0.77 0.13 0.42 37

34.

考察 設問ごとの単語数 Q6 Q7 Q8 Q10 提案⼿法 6.8 2.3 11.4 11.1 通常回答欄 5.2 2.1 9.6 10.2 ⼤回答欄 6.8 2.4 11.0 11.0 38

35.

考察 設問ごとの単語数 Q6 Q7 Q8 Q10 提案⼿法 6.8 2.3 11.4 11.1 通常回答欄 5.2 2.1 9.6 10.2 ⼤回答欄 6.8 2.4 11.0 11.0 39

36.

考察 提案⼿法群,⼤回答欄群 →⽂字数,改⾏数,単語数が多い 通常回答欄 →⽂字数,改⾏数,単語数が少ない ただ単に⽂字数が増えただけでなく, 回答されたトピックが増えた可能性 正確に調査するには回答分類をする必要 40

37.

展望と課題 離脱率が⾼い結果であったが,1⼈の離脱が⼤きく影響 →⼈数を増やして再度実験をしたい また,離脱した⼈が実際に不真⾯⽬回答者かどうかわからない →不真⾯⽬回答者かどうかも含め,調査を⾏いたい 41

38.

展望と課題 ShrinkTextboxのプロトタイプとして今回実装した 回答欄が⼩さくなる要因 • ⽂字数の最⼤値,回答時間,単語数など 通常回答欄になるのに,今回30⽂字と設定していた →今後は適切な条件を調査していきたい 42

39.

まとめ 背景:Webアンケートにおいて不真⾯⽬回答が多い ⽬的:不真⾯⽬回答者をアンケートから離脱させつつ, 回答者の回答の質を向上させること ⼿法:回答に応じて回答欄が⼩さくなるShrinkTextbox 結果:提案⼿法群,⼤回答欄群 ‧⽂字数が多くなる ‧離脱率が⾼くなる 43