UXの評価の課題と展望_土井分

ヒューマンインタフェースシンポジウム2025 ワークショップ1 UXの評価の課題と展望 ―そもそも測れるのか？何を測るべきか？― 土井 俊央 大阪公立大学生活科学部 居住環境学科デザイン人間工学研究室

自己紹介 土井 俊央（どい としひさ） • 大阪公立大学 生活科学部 居住環境学科 講師 • 博士（工学）和歌山大学， 認定人間工学専門家，認定人間中心設計専門家 • 奈良高専，和歌山大学出身（認知人間工学，ユーザビリティなど） • 2012～2016: レノボ・ジャパン株式会社 R&Dエンジニア • ノートPCの機構設計，先行開発におけるUX検討 • 2016～2022: 岡山大学工学部機械システム系学科 助教 • 画面デザイン，自動車，視線入力，安全マネジメントなどに関する 人間工学研究 • 2022～: 現職（PI: デザイン人間工学研究室） 研究テーマ • 応用人間工学全般（UXなども含む） 2

自己紹介｜UX評価に関連しそうな最近の研究例 若者が過去に利用経験のないレトロな製品の何 に魅力を感じるかを混合研究法のアプローチで 検討（UXカーブによる仮説抽出⇒因子分析に よる検証） 長期間の製品利用においてピークエンドの法則 が成り立つのかを検討（回顧的に過去の体験に おける満足度の変化と総合評価を行い，統計的 に分析） 3

本発表でUX評価をどう位置付けているか より良い体験を構想・実現するためのユーザ理解の一環として， 思い描いたコンセプトが実現できているかを確かめ，改善に活かす活動 • ユーザの主観的な体験を知る必要がある • ユーザがどんな体験をして，それをユーザ自身がどう評価しているのか （ユーザ自身がどう意味付けしているのか） 4

評価と測定 測定（Measurement） • 何らかのツールを使って，UXの諸側面について，有意味な数値に変換していく操作 • タスク達成率などのパフォーマンス指標を測る，UEQなどの心理尺度で測る 評価（Evaluation） • 測定 + 質的記述 + 価値判断（常に客観的・定量的な指標に基づくものではない） • 測定によって得られたデータや質的な情報をどう解釈して，判断していくか • “価値の見定め” が評価といえるのでは 参考：岸学：評価と測定の違い，助産婦雑誌，39(7)，92，1985 ※教育評価における観点 5

UXを測る難しさ 一意に良い・悪いと判断できず，多義性・あいまいさがある • 人によって体験やその意味の捉え方は違う→同じように数値化してよいのか？ • 良い面も悪い面も混ざる（人間は矛盾する） • 多様な構成要素 定量化の手法は多くあるが数値だけで意味を解釈できない • 数値の背後にある体験やその意味付けは人それぞれ • 文脈があってこそ 「今，この瞬間」だけ測ればよいわけではない • 体験を捉えるための時間のスケールの幅が大きい • ある一時点だけとらえてもUXの一部に過ぎない 6

UXは測定できるのか？ 間接的な測定：UXそのものではない • UX（体験）そのものを直接測っているわけではなく，体験の結果として表出される 測定時点での心理や行動の痕跡を通じて，推定している 限定的・部分的な測定 • ある一時点の，ある一側面を捉えたもの • 数値だけで文脈・意味を表せない 限界はあるが断片的には測れるとは思うし， 使いようによっては測る意義もあると思う • ただし，その限界は念頭において利用すべき • 実際に研究でも定量指標は使ってます 7

測定の活用例 ※UXを考える上での一つの側面としての定量指標の測定 複数の観点から主観評価（有用性，利便性，魅力性，利用意欲など） • コンセプトの異なる条件間での統計的な比較分析 • Doi, T., Doi, S. (2023) Which Hierarchical Levels of Value Description of Design Concepts Enhance Anticipated UX? Effects of Product Type on User Expectations, Systems, 11(5), 230. UXカーブによって利用時の魅力の度合いと，その時のエピソードを抽出 • エピソード抽出のきっかけ，エピソード解釈の視点 • Doi, T., Murata, M., Nagata, A. (2025) Attractiveness Factors of the Use of Retro Products to Young People: A Mixed-Method Approach with User Experience Analysis, International Journal of Industrial Ergonomics, 105, 103695. 製品のPoCにおいて，SUS, NPSの評価＆インタビュー • 先行開発中の製品を体験してもらった時のコンセプトの妥当性評価，従来品との比較 • 土井俊央. (2015) Proof-of-ConceptフェーズでのホールウェイユーザテスティングによるV&V評価―汎用システムデザインプロセスに おけるコンセプト評価事例―, 人間工学, 51(Supplement), 2S1-3. 8

何を測るべきか？ 評価の目的による（当然だが） • 評価 = 測定 + 質的記述 + 価値判断 • 単一の指標で捉えられるものではなく，定量・定性の組み合わせは重要 • 定量指標の測定：定量的な比較・分析に活用 • 定性指標による質的記述：ユーザ自身が体験に見出す意味や価値を把握 評価の目的 狙ったコンセプトを実現できているか？ そこでユーザはどんな体験をしているか？どう体験を理解しているか？を 理解し，改善に活かす 9

何を測るべきか｜定量指標の位置づけ • 比較・基準のためには有用，ただしそれのみでUXを理解できるわけではない • UXはユーザの自身の反応や認識であるから主観評価は特に大事ではないか • 客観指標は，主観評価よりも間接的・限定的にならざるを得ず， その意味付けが大事になるのではないか？ Pragmatic （実用的） Hedonic （快楽的） 主観的 SUS, ASQ, UEQ， meCUE など 各種印象評価, UEQ, meCUE など 客観的 タスクパフォーマンス， 生理指標，視線計測 な 視線計測 など ど Evaluative （総合評価） 満足度，NPS など マクロな行動指標（コ ンバージョン率など） 10

何を測るべきか｜定量指標の位置づけ 標準化された心理尺度（UEQ, meCUE2.0, AttrakDiffなど） • 繰り返すが，体験そのものではない • 数値がでるのは非常に便利だが，数値だけが独り歩きしないようにすべき • 同じように数値化しても，Apple-to-Appleの比較とはならないこと には留意すべきではないか？ • スケールは同じでも，人・評価対象が変わると体験の捉え方は違う • 比較・統計解析などのためには使いやすい（研究に使いやすい） • （ただ，評価項目が多くて実施するのは大変） 11

何を測るべきか｜利用文脈に即した評価 所謂ユーザビリティ評価指標以外も含めて捉えるところに 難しさがあるのではないか • 特定のタスク操作における実用的側面だけであれば， UXを総合的に考えることに比べて開発中のテストと実利用のギャップが小さかった UX測定・評価では利用文脈への依存度が高くなるのではないか • 体験の感じ方（どんな体験価値を得たか，より良い体験か）となると， 実際に生活の中である程度の期間を使わないと考えにくい • プロトタイプでの評価や短期間での評価では 実利用との利用文脈のギャップが大きいのではないか 12

何を測るべきか｜時間の側面を考える UXを考えるときの時間の射程 • ある一時点の測定結果だけでは捉えきれない • どんな時間幅に対する測定結果なのか？ 単に経時的に測定していくだけでは捉えきれない？ • 時間による意味付けの変容 • 過去の出来事が転機になる • 心理時間に関するバイアス • 記憶の変容 13

何を測るべきか｜質的記述との組み合わせ “体験そのもの”を理解するには 質的記述も必要 測定 定量指標はあくまでも補助的なものでは？ • 同じような数値でも人によって， その評価の理由・意味は違う • 測定 + 質的記述の意義 • 着目すべき体験を知る取っ掛かりとして • 体験を想起するきっかけとして 質的記述 • より体験を理解するための手がかりとして • ユーザが言語化できていないことを知る 手がかりとして（行動指標） 14

UX評価の課題・展望（自分の関心事） 矛盾やあいまいさを含めて主観をどう測っていくか？ • “ある面では満足，でもある面では不満”でも1つの数値として評価されてしまう 時間の側面をどう捉えていくか？ • 変容・累積されるUXをどう測定・評価すべきか 測定 + 質的記述 + 価値判断 をどう統合していくか？ 15

研究と企業でのUX評価の考え方の違い 評価における“価値判断”の仕方が変わってくるのでは？ 研究 • 新たな理論や手法といった知見や理解を得るため（実務を支援する） • 実務的なことにも取り組むが，新たな知見や理解を得るための実践という面もある • UX評価によって何らかのリサーチクエスチョンに答える / UX評価そのものも研究対象となる （論文を通したい）→ 正確さ，尤もらしさ 企業 • 実務をいかにより良く推進するかが大事 （課題解決への有効さ，効率化，インパクトの大きさ，ROIなど） • UX評価は意思決定，成果創出のための手段 16