--- title: GUI操作を伴うオンライン実験のデータ品質向上を目的とした事前タスクによる参加者スクリーニング tags: author: [Nakamura Laboratory (Meiji University)](https://www.docswell.com/user/nkmr-lab) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/8EDK2GG47G.jpg?width=480 description: GUI操作を伴うオンライン実験のデータ品質向上を目的とした事前タスクによる参加者スクリーニング by Nakamura Laboratory (Meiji University) published: September 03, 26 canonical: https://www.docswell.com/s/nkmr-lab/527EE9-2026-09-03-122251 --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/8EDK2GG47G.jpg) GUI操作を伴うオンライン実験のデータ品質向上を目的とした 事前タスクによる参加者スクリーニング 事前タスク メインタスク スクリーニングによりモデル適合度が向上 三山貴也 中村聡史（明治大学） 山中祥太（LINEヤフー株式会社） 1 # Page. 2 ![Page Image](https://bcdn.docswell.com/page/V7PK133VJ8.jpg) 自己紹介 • 三山 貴也（みやま たかや） • 明治大学大学院 先端数理科学研究科 先端メディアサイエンス専攻 M2 • 修士論文テーマ：オンライン実験に関する研究（本日のテーマ） CHI 2026 採択論文（Full Paper）について紹介 • Improving Data Quality via Pre-Task Participant Screening in Crowdsourced GUI Experiments • LINEヤフー株式会社 山中さんとの共同研究（インターンの成果） 2 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/2JVVY44RJQ.jpg) Improving Data Quality via Pre - Task Participant Screening in Crowdsourced GUI Experiments Pre - task Main task Screening improves model fit ( Takaya Miyama , Satoshi Nakamura (Meiji University) Shota Yamanaka ( LY Corporation ) R² ) 3 # Page. 4 ![Page Image](https://bcdn.docswell.com/page/5EGL9116JL.jpg) 背景：GUI操作を伴うオンライン実験 メリット • 短時間での参加者募集：数時間で1,000人以上 • 大規模なサンプル： GUI操作のパフォーマンスモデルの評価や 発生確率の低い事象（例：ポインティングタスクのエラー）の検証に効果的 [1] デメリット • 参加者の様子を観察しにくい：実験の指示に十分沿っていない行動が含まれる可能性 [2] • ラボ実験とは結果が異なる可能性： 速いが不正確な操作がみられるため、 操作モデルの評価に影響する可能性 [3] 信頼性の高いモデル評価には、指示に十分沿っていない参加者への対応が必要 [1] Yamanaka, HCOMP 2021, [2] Brühlmann+, Methods in Psychology, 2020, [3] Findlater+, CHI 2017 4 # Page. 5 ![Page Image](https://bcdn.docswell.com/page/4JQYWDD27P.jpg) 実際にオンライン実験で収集されたデータの例 適切な例 ていねいで正確 5 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/K74WKZZPE1.jpg) 実際にオンライン実験で収集されたデータの例 適切か判断が難しい例 速いがやや不正確 6 # Page. 7 ![Page Image](https://bcdn.docswell.com/page/LJ1YXRRXEG.jpg) 実際にオンライン実験で収集されたデータの例 明らかに不適切な例 連打やランダムな操作 7 # Page. 8 ![Page Image](https://bcdn.docswell.com/page/GJWGN11K72.jpg) 実際にオンライン実験で収集されたデータの例 適切な例 適切か判断が難しい例 明らかに不適切な例 ていねいで正確 速いがやや不正確 連打やランダムな操作 同じタスクでも参加者によって得られるデータは大きく異なる → メインタスクの前に参加者をスクリーニングするアプローチ 8 # Page. 9 ![Page Image](https://bcdn.docswell.com/page/4EZL3PPN73.jpg) アプローチ • メインタスクの前に事前タスクを実施し、通過した参加者のみがメインタスクの分析対象 • 事前タスクのみの結果を用いて参加者をスクリーニング 事前タスク メインタスク スクリーニング すべての参加者 事前タスクを 通過した参加者 9 # Page. 10 ![Page Image](https://bcdn.docswell.com/page/Y76WXMM97V.jpg) 事前タスク サイズ調整タスク 物理カードのサイズに合うように画面上のカード画像のサイズを調整 [Li+ 2020] • 短時間：平均10秒未満で完了 • メインタスクとの関連性：正確な操作が求められるため、GUI操作を伴うメインタスクと関連がある • スクリーニング方法：物理カードとカード画像のサイズ差（サイズ調整誤差）を用いる → 閾値未満の参加者は通過、それ以外は非通過 サイズ調整誤差 [4] Li+, Scientific Reports, 2020 10 # Page. 11 ![Page Image](https://bcdn.docswell.com/page/G75MXZZD74.jpg) 検証方法 1. オンライン実験（データ収集）：サイズ調整 (事前タスク) → GUI操作 (メインタスク) 2. シミュレーション（評価）：スクリーニングによってモデル適合度が向上するか検証 事前タスク メインタスク 11 # Page. 12 ![Page Image](https://bcdn.docswell.com/page/9J29XRPMER.jpg) オンライン実験 サイズ調整（事前タスク） 物理カードのサイズに合うように画面上のカード画像のサイズを調整 • 基準カード：ISO/IEC 7810 ID-1（クレジットカード、身分証、交通系ICカードなど） • 対象デバイス：iPhoneのみ、端末情報から px を mm に変換して処理 • 評価指標：サイズ調整誤差（mm） サイズ調整誤差 12 # Page. 13 ![Page Image](https://bcdn.docswell.com/page/DEY48D5PJM.jpg) オンライン実験 ポインティング（メインタスク） 画面上下の2つのターゲットを交互にタップ • ターゲット幅 W：9条件（2.0, 2.8, 3.6, 4.4, 5.2, 6.0, 6.8, 7.6, 8.4 mm） • 試行数：1人あたり360試行 • 評価指標：操作時間（MT）、エラー率（ER） 30 mm W 13 # Page. 14 ![Page Image](https://bcdn.docswell.com/page/VJNYQ6NM78.jpg) オンライン実験 データ収集 • Yahoo!クラウドソーシングで参加者を募集（分析対象：N=519、平均所要時間：5分27秒） • スクリーニングは実施せず、すべての参加者が事前タスクとメインタスクを実施 事前タスク メインタスク 14 # Page. 15 ![Page Image](https://bcdn.docswell.com/page/YE9PDLRWJ3.jpg) オンライン実験 サイズ調整タスクの結果 参加者数 • 310人（60%）が 2mm 未満の誤差（通過の可能性が高い参加者） • 143人（28%）が 10mm 以上の誤差（非通過の可能性が高い参加者） 誤差[mm] 15 # Page. 16 ![Page Image](https://bcdn.docswell.com/page/GE8D3XWRED.jpg) オンライン実験 サイズ調整タスクの結果 参加者数 • 310人（60%）が 2mm 未満の誤差（通過の可能性が高い参加者） • 143人（28%）が 10mm 以上の誤差（非通過の可能性が高い参加者） 結果は連続的に分布しており、閾値を一意に定めることは難しい → 複数の閾値を用いてスクリーニングの効果を評価 誤差[mm] 16 # Page. 17 ![Page Image](https://bcdn.docswell.com/page/LELMV8N27R.jpg) シミュレーション スクリーニングでモデル適合度は向上するか 事前タスクによるスクリーニングが有効であれば、 分析対象に占める非通過群の割合が低いほど、 メインタスクの結果でGUI操作モデルの適合度が高くなるはず GUI操作モデル • 𝑀𝑇 = 𝑎 + 𝑏 ∙ log 2 • 𝐸𝑅 = 1 − erf 𝐴 +1 𝑊 𝑊 2 2𝜎𝑦 [5] [6] パラメータ • N：シミュレーションでのサンプルサイズ（N=80） • T [mm]：事前タスクの誤差から通過群/非通過群を分類する閾値（T=1〜10mm、1mm刻み） • X [%]：分析対象に占める非通過群の割合（X=0〜100%、10%刻み） [5] Fitts, Journal of Experimental Psychology, 1954, [6] Yamanaka+, ISS 2020 17 # Page. 18 ![Page Image](https://bcdn.docswell.com/page/4JMYG6X9JW.jpg) 結果 ヒートマップ • 横軸：非通過群の割合 X（右ほど高い）/ 縦軸：閾値 T（下ほど大きい） • 各セル：各条件におけるモデル適合度 R² 非通過群の割合 X [%] 閾値 T [mm] 0% 50% 100% ●●●●● ●●●●● ●●●●● ◆◆◆◆◆ ◆◆◆◆◆ ◆◆◆◆◆ 高 低 18 # Page. 19 ![Page Image](https://bcdn.docswell.com/page/PJR9ZPN979.jpg) 結果 エラー率 ER モデルの適合度 • 非通過群の割合 X が高いほど、モデル適合度 R² は低下 • 閾値 T が大きい条件ほど、低下の傾向が顕著 非通過群の割合 X [%] 閾値 T [mm] 0% 50% 100% ●●●●● ●●●●● ●●●●● ◆◆◆◆◆ ◆◆◆◆◆ ◆◆◆◆◆ 高 低 19 # Page. 20 ![Page Image](https://bcdn.docswell.com/page/PEXQ93N3JX.jpg) 結果 エラー率 ER モデルの適合度 • 非通過群の割合 X が高いほど、モデル適合度 R² は低下 • 閾値 T が大きい条件ほど、低下の傾向が顕著 非通過群の割合 X [%] 閾値 T [mm] 0% 50% 100% ●●●●● ●●●●● ●●●●● ◆◆◆◆◆ ◆◆◆◆◆ ◆◆◆◆◆ 高 0.989 R² = 0.989 R² = 0.853 閾値 T を厳しくし、非通過群の割合 X を低くするほどモデル適合度が向上 → 非通過群のデータによる誤ったモデル評価のリスクを低減 0.853 低 20 # Page. 21 ![Page Image](https://bcdn.docswell.com/page/3EK9PYNNED.jpg) 結果 操作時間 MT モデルの適合度 ER モデルと同様の傾向はみられるが、モデル適合度 R² の変化は小さい → 事前タスクでの操作の正確さは、操作の速さ（MT）よりも正確さ（ER）に反映される可能性 非通過群の割合 X [%] 閾値 T [mm] 0% 50% 100% ●●●●● ●●●●● ●●●●● ◆◆◆◆◆ ◆◆◆◆◆ ◆◆◆◆◆ 高 低 21 # Page. 22 ![Page Image](https://bcdn.docswell.com/page/L73WX9VZ75.jpg) まとめ・今後の展望 主な結果 • 短時間の事前タスク（平均10秒未満のサイズ調整）により、 事前タスクの結果のみを用いたスクリーニングが可能 • 閾値を厳しくし、分析対象に占める非通過群の割合を低くするほど、モデル適合度が向上 Limitations • 事前タスクでは通過しても、メインタスクでは指示に十分沿わない参加者を検出できない • 閾値の設定は一意な基準がなく、トレードオフが存在 （厳しくするほど非通過群のデータは減少するが、分析可能な参加者数も減少） 今後の展望 • 既存のスクリーニング手法との比較（例：Gold Task, Attention Check） • 他のGUI操作タスクへの適用可能性を検証（例：ドラッグ、ステアリング） 22