cn127

自由記述回答の定量評価に向けた 画像説明タスクの提案： 進捗バー速度と回答欄サイズの影響比較 畑中健壱 中村聡史 明治大学 1

背景 Webアンケートと自由記述設問 • アンケートは人々の意見や行動，嗜好などを把握する手段 • 政治や教育，医療などの様々な分野で利用 • Webアンケートは，安価で集計が容易などから広く利用 [Vergnaud, 2011][Hayslett, 2004] • 自由記述設問はアンケートにおいて必要不可欠である • 回答者の態度や評価に関わる重要な洞察を得られる • 選択設問と比べ多様な回答を得られる [Reja, 2003] [Singer, 2017] Vergnaud et al.: Agreement between web-based and paper versions of a socio-demographic questionnaire in the NutriNet-Sante study, International Journal of Public Health, (2011). Hayslett et al.: Pixels or pencils? The relative effectiveness of Web-based versus paper surveys, Library Information Science Research, (2004). Singer et al.: Some methodological uses of responses to open questions and other verbatim comments in quantitative surveys, M ethods, data, analyses: a journal for quantitative methods and survey methodology (mda), (2017). Reja et al.: Open-ended vs. close-ended questions in web questionnaires, Developments in applied statistics, (2003). 3

背景 自由記述設問の問題 • 自由記述設問は選択設問と比べ回答する負担が大きい • 選択肢による意味推測ができない [Dillman, 2014] • 回答を自身の言葉で構成する必要があること [Keusch, 2014] • アンケートを途中で離脱 • 無回答や意味を持たない語句などの不真面目回答が生じやすい • 無回答や「わからない」「fdjkgfg」「xxx」など [Holland, 2009] Dillman et al.: Internet, phone, mail, and mixed-mode surveys: The tailored design method, John Wiley & Sons (2014). Keusch, F.: The influence of answer box format on response behavior on list-style open-ended questions, Journal of Survey Statistics and Methodology, (2014). Holland et al.: The influence of topic interest and interactive probing on responses to open-ended questions in web surveys, Social Science Computer Review, (2009). 4

背景 アンケートデザインの工夫 • 設問文のわかりやすさ [Lenzner, 2012] →回答の質に影響 • 回答欄の大きさ [Smith, 1995] →記述量や回答特性に及ぼす影響 • 設問の配置や順序 [Yamazaki, 2023] →不真面目回答や離脱率に影響 Lenzner, T.: Effects of survey question comprehensibility on response quality, Field Methods, (2012). Smith, T. W.: Little things matter: A sampler of how differences in questionnaire format can affect survey responses, America n Statistical Association (1995). Yamazaki et al.: A Basic Study to Prevent Non-earnest Responses in Web Surveys by Arranging the Order of Open-Ended Questions, International Conference on Human-Computer Interaction, Springer, (2023). 5

背景 評価方法の問題と研究目的 • アンケートテーマや設問内容が回答のしやすさに影響 • 政治，学生生活，漫画をテーマ • 回答者の興味や知識，経験の有無などで記述できる量が大きく異なる →記述量などの違いがUIの効果か，設問の性質によるものか 切り分けることが難しい 大目的 自由記述設問のUIを定量評価することができる アンケートタスクを設計 6

タスクの3つの要件 • 全ての回答者が回答することができること 例）「特になし」などの回答ができない • 興味や知識によって記述量が左右されないこと 例）漫画の数 上記を満たした上で • 記述量に自然な個人差が生じること • 全員が同じ回答にならないような設問 7

画像説明タスク • 画像説明タスク • 画像を見てその画像の内容を説明してもらう • 例）Cookie Theft Picture • 複数の出来事が含まれている画像 • 画像説明タスクのメリット [Goodglass, 2001] 画像から読み取った情報をもとに説明をするため 回答者の背景知識に依存しにくい どの範囲に着目するかや，どの程度詳しく説明するかは 自然な個人差が現れる →画像説明タスクは自由記述設問のUIなどの影響を 評価するのに適したタスクであると考える Goodglass et al.: Boston Diagnostic Aphasia Examination – Third Edition,Lippincott Williams & Wilkins, Baltimore, MD (2001). 8

目的 画像説明タスクが自由記述設問の UI評価に適した形式となり得るかを明らかにする • これまでに示されているUIデザインの効果を 画像説明タスクで再検証 →同様の結果が得られるか？ 9

実験 実験設計 • 回答欄の大きさ • 大きい回答欄の方が，文字数が多くなるが離脱が増える [Yamazaki, 2023] • 進捗バーの速度 • fast→slowは離脱率が低くなる [Conrad, 2005] 画像説明タスクにおいても同様の結果が得られるか 2要因を組み合わせた実験は行われていない →組み合わせた場合に，回答行動はどうなるか Yamazaki et al.: The Effects of Order and Text Box Size of Open-ended Questions on Withdrawal Rate and the Length of Response, 35th Australian Conference on Human-Computer Interaction, (2023). Conrad et al.: Impact of progress feedback on task completion: first impressions matter, CHI ’05 Extended Abstracts on Human Factors in Computing Systems, (2005) 10

実験 実験設計 • 実験内容 • 「画像説明タスク＋選択設問」で構成されたタスクに回答してもらう • 回答欄の大きさ，進捗バーの速度を操作（3×3） 回答欄の大きさ small（80px） medium （160px） 進捗バーの速度 [Conrad, 2005] fast→slow none slow→fast large （240px） 11

実験 画像刺激と作成方法 リビング Cookie Theft Picture 公園 説 明 文 を 生 成 教室 場 面 を 変 更 画 像 を 生 成 12

実験 実験手順 • Yahoo!クラウドソーシングを利用して参加者を募集 • 男性，女性それぞれ800名 • 参加者を9条件のうち1条件にランダムに割り当て • 12問からなるアンケートに回答してもらう 画像1枚あたり 画像説明タスク （1問） 画像に関する選択設問 （3問） 13

結果 事前処理 • 評価指標 • 文字数・離脱率・言及数 • 1名の評価者によって評価 リビング アノテーションシステム 14

結果 実験参加者 • 1581名を分析対象（データが確認できなかった参加者を除外） • 男性790名，女性791名 • 20代から70代以上 各条件への割り当て人数（1条件あたり約176名） 15

結果 画像説明タスク 〜回答欄〜 離脱率 回答欄が大きくなるにつれ 離脱率が増加する傾向がみられた 文字数 言及数 要因 文字数 large 70.69 medium 68.24 small 64.69 要因 large条件はsmall条件と比べ 有意に文字数が多い 言及数 large 3.65 medium 3.66 small 3.61 各条件間に差はみられなかった 16

結果 画像説明タスク 〜進捗バー 〜 離脱率 fast→slow条件において有意に低く slow→fast条件においては有意に高い 17

考察 画像説明タスク 回答欄の大きさ • 大きい回答欄は，小さい回答欄と比べ文字数が多く離脱が多い 進捗バー • fast→slow条件は離脱率が低い 先行研究と同様の結果が得られた →画像説明タスクがアンケート及び自由記述設問として 成り立っていたと考えられる 18

考察 画像説明タスク 回答欄の大きさ • 文字数は条件間で差があったが，言及数に差はなかった • 画像説明タスクは，それぞれの出来事への説明に変化が現れる →出来事を増やすのではなく それぞれの出来事において言及できる特徴を増やすと良い 19

結果 回答欄と進捗バー 各設問ごとの離脱率の変化 large条件に着目 fast→slowの組み合わせにおいて 離脱率が低い slow→fast条件（点線）に着目 回答欄の大きさに関わらず 2問目の画像説明タスクで離脱が増える 20

結果 回答欄と進捗バー 各設問ごとの離脱率の変化 large条件に着目 fast→slowの組み合わせにおいて 離脱率が低い slow→fast条件（点線）に着目 回答欄の大きさに関わらず 2問目の画像説明タスクで離脱が増える 21

考察 大きい回答欄を使用しても fast→slowの進捗バーを用いることで離脱が減少 • 負担が増える大きい回答欄でも 序盤の進捗を早く見せることで，負担感を打ち消し完了へ • 複数のUIを適切に組み合わせることで 回答の質を維持したまま，離脱を防ぐことができる 22

考察 途中離脱 slow→fast条件において，2枚目の画像説明タスクで離脱増加 • 「自由記述1問 ＋ 選択設問3問」 というサイクルを3回繰り返す構成が原因では • タスクの全体構造を予測することができ まだ膨大な量が残っていると考え離脱したのでは 23

展望 • 回答欄と進捗バーのみの調査 →その他のUIにおいても画像説明タスクで再現できるか • 画像説明タスクの改良 →出来事について記述できる特徴を増やす • 途中でタスク量を予測できてしまう →タスク量が見積もりづらい設計の検討 24

まとめ 背景：アンケートテーマに回答が依存 目的：自由記述を定量評価できるようにしたい 手法：画像説明タスクの利用 結果：画像説明タスクが有効である 展望：他のUIにおいても検証 25