学習しやすさの観点から見たスマートスピーカーのユーザビリティの分析

240 Views

December 11, 23

スライド概要

2023年度日本人間工学会関西支部大会
講演番号:GS5-2
原稿(pdf):https://researchmap.jp/d_the_rhythm/presentations/44229920/attachment_file.pdf

profile-image

大阪公立大学生活科学部居住環境学科デザイン人間工学研究室(土井俊央研究室)

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

日本人間工学会関西支部大会 2023/12/9 学習しやすさの観点から見た スマートスピーカーのユーザビリティの分析 大阪市立大学 生活科学部居住環境学科4年 西川祐生 大阪公立大学 土井俊央 1

2.

研究背景 研究背景 研究目的 研究方法 結果・考察 • 無線接続で他の複数の機器と接続し、それらを制御する • 画面を使わずVoice User Interface (VUI)によって操作をする • スマホ画面やリモコンにより遠隔で操作する • GUIとは別でVUIではまた違う問題があるので,VUIについてのユーザビリティ の問題やそのためのデザイン指針を考える必要がある[1] [1] 西川祐生,土井俊央:タスク分析とチェックリストによるスマートスピーカーのユーザビリティ評価,第18回日本感性工学会春季大 会,18巻,ROMBUNNO.1B01-04(WEB ONLY) (2023) 2

3.

先行研究 研究背景 研究目的 研究方法 結果・考察 音声対話システムの性能向上のための研究 • スマートスピーカーのよそよそしさに着目している研究[2] • 音声対話システムに着目している研究[3] VUI分野においてユーザビリティに着目した研究はなされているが、使いやすさ を考える上で大事な学習性についての研究は少ない。 [2]板敷尚,西脇裕作,大島直樹,岡田美智男:なぜスマートスピーカーはよそよそしいのか?ロボットの親近感を生み出 す代名詞の役割,ヒューマンインタフェース学会論文誌,Vol22,No2,p65-76(2020) [3]山本賢太,井上昂治,河原達也:音声対話システムのユーザ適正に向けたパーソナリティの関係性の分析,人工知能学 会言語・音声理解と対話処理研究会資料,93巻,p9-14(2021) 3

4.

学習特性 研究背景 研究目的 研究方法 結果・考察 学習において一般的に、経験を重ね るごとにエラー数や時間などが減る ことが考えられる[4]。 これまで明らかになっていなかった スマートスピーカーの操作について の学習特性を把握する Learning-curveイメージ図 [4] Jonathan A Cook,Craig R. Ramsay,Peter Fayers:Using the literature to quantify the learning curve:A case study, International Journal of Technology Assessment in Health Care:23(2):p255-260:2007 4

5.

研究目的 研究背景 研究目的 研究方法 結果・考察 ユーザの学習過程において影響を及ぼすものが何か,どこで発生するか,またど のくらいで習熟するのかを明らかにすることができれば、適切なメンタルモデル 形成、適切なフィードバックをすることに繋がり、問題解決にも繋がる。 スマートスピーカーを使用する時に ユーザはどのようにして学習していくのかを確認する 5

6.

実験条件 研究背景 研究目的 研究方法 結果・考察 条件 • 音声操作のみのタスク[画面無し] • 音声操作のみのタスク[画面あり] • 音声+リモコンのタスク[画面無し] • 音声+リモコンのタスク[画面あり] 計4条件で実験を行う 各条件で被験者は別とする。 各条件10人で未経験者 (男23名,女17名 平均年齢:20.62歳 SD:1.43) アレクサver.2.2.5 6

7.

タスク内容 研究背景 研究目的 研究方法 結果・考察 • 音声操作のみのタスク 1. 天候の確認と記録 3. タイマーの設定と音楽を流す 2. ライトの設定 上記3つのタスクを上から順にしたものを1つのタスクとして実験を行う。 • 音声+リモコン操作のタスク 配信サイトで作品を見る 実験は計10回。1回ごとに1分間の休憩を挟む。 タスク内容は被験者ごとにランダムで提示する。 7

8.

評価指標 研究背景 Learning-curveのイメージ図 研究目的 ①実験前 • メンタルモデル構築度合 操作時間(s) ②1回目の実験中 • プロトコル分析 (回顧法) ③1回目の実験後 • メンタルモデル構築度合 • 音声操作の主観的評価 (VUS[5]) ① ②③ 実験回数(回) ④⑤ 研究方法 結果・考察 ④最後の実験中 • プロトコル分析 (回顧法) ⑤最後の実験後 • メンタルモデル構築度 合 • 音声操作の主観的評価 (VUS) [5] Dilawar Shah Zwakman, Tuul Triyason, Debajyoti PalVoice:『Voice Usability Scale:Measuring the User Experience with Voice Assistants』,IEEE,p308311(2020) 8

9.

音声操作のみのタスク時間 研究背景 研究目的 研究方法 結果・考察 2元配置分散分析 250 (画面有無×実施タイミング) ** タスク時間(s) 200 150 * * 100 50 0 • 画面無し,画面ありそれぞれにおい て、実験回数における有意差がみら れた。 • 各回において、画面の有無による有 意差はみられなかった。 ** 音声(画面無し) 1回目 2回目 3回目 4回目 5回目 6回目 7回目 音声(画面あり) 8回目 9回目 10回目 実験回数 画面の有無における音声操作のタスク時間の推移 ※隣り合うもののみ有意差を表示 • 検定結果より、画面なしでは4回目, 画面ありで3回目から習熟していると 考えた。 • 音声操作のみでは画面の有無による 差はない 9

10.

音声+リモコン操作のタスク時間 研究背景 研究目的 研究方法 結果・考察 2元配置分散分析 300 (画面有無×実施タイミング) ** 250 ** ** • 画面無しでは実験回数における有 意差がみられたが、画面ありでは みられなかった。 タスク時間(s) 200 150 • 1回目で画面の有無による有意差 がみられた。 100 50 0 音+リ(画面無し) 1回目 2回目 3回目 4回目 5回目 6回目 実験回数 音+リ(画面あり) 7回目 8回目 9回目 10回目 • 双方の条件において、3回目から 習熟していると考えた。 • 1回目において、画面無しの条件 画面の有無における音声+リモコン操作操作のタスク時間の推移 では音声操作,画面ありではリモ ※隣り合うもののみ有意差を表示 コン操作を多用した被験者が多い からではないか?

11.

メンタルモデル構築度合 ** メンタルモデル構築度合(点) 80 ** 70 研究背景 研究目的 研究方法 結果・考察 3元配置分散分析 (画面有無×操作方法×実施タイミング) ** 交互作用はなく、実施タイミン グの主効果のみ有意だった。 60 50 40 30 20 10 0 実験前 音声(画面無し) 1回目 音+リ(画面無し) 音声(画面あり) 10回目 音+リ(画面あり) 全条件において、1回目から10 回目でメンタルモデル構築度合 の得点が上昇しており、習熟し ているのが確認された。 メンタルモデル構築度合の推移 11

12.

音声操作の主観評価 研究背景 研究方法 結果・考察 3元配置分散分析 100 音声操作の主観評価(点) 研究目的 90 (画面有無×操作方法×実施タイミング) 80 70 60 全条件で、1回目から10回目の 実験後で音声操作の主観評価は 高まっているが、有意差はみら れなかった。 50 40 30 20 10 0 1回目 10回目 音声(画面無し) 音声(画面あり) 音+リ(画面無し) 音+リ(画面あり) 音声操作の主観評価 操作回数を重ねることで評価は 上がっているが、回数を重ねた ことにより新規のエラーに合う 回数が高まり、評価が上がりに くかったのではないか? 12

13.

エラー回数(回) 音声操作のみのエラー回数 研究背景 研究目的 研究方法 結果・考察 2元配置分散分析 6 ** ** (画面有無×実施タイミング) ** 5 音声(画面無し) 4 音声(画面あり) 3 2 ** 1 0 • 双方の条件で、1回目と各回で有意 差がみられました。 • 各タイミングで、画面の有無におけ る有意差はみられなかった。 ** ** 1回目 2~4回目 5~7回目 8~10回目 画面の有無における音声操作のエラー回数の推移 視覚的な情報が画面ありの条件にあり、 エラー回数が画面なしの条件に比べて 少ないが、画面があることによるエ ラーが発生していたため、差はなかっ たのではないか? 13

14.

音声+リモコン操作のエラー回数 研究背景 研究目的 研究方法 結果・考察 2元配置分散分析 12 10 エラー回数(回) ** ** * 8 (画面有無×実施タイミング) ** • 画面無しの条件において、1回目と 各タイミングにおけるエラー回数 で有意差がみられ、画面ありの条 件では1回目と5~7回目,8~10回 目で有意差がみられた。 音+リ(画面無し) 音+リ(画面あり) 6 4 2 0 ** 1回目 2~4回目 * 5~7回目 8~10回目 画面の有無における 音声+リモコン操作操作のエラー回数の推移 • 1回目の操作中のエラー回数で、画 面の有無において有意差がみられ た。 1回目は音声操作を活用しようとし た被験者が画面なしの条件で多かっ たためではないか? 14

15.

音声操作のみのプロトコル分析 画面 無し 画面 あり 研究目的 研究方法 結果・考察 10回目 ①ゆっくりハキハキと簡潔 に言うようにした ②タイマーが勝手に止ま る?指示しないとダメ? ③天候を聞いたら気温も全 部言ってきた ①人と話すくらいの スピードで話した ②助詞を省略して 言ってたが、省略し すぎないようにした ①具体的に言う必要があっ た(どの機器が?) ②「タイマーを止めるよ う」にアレクサが提案した ③ゆっくりめに、ただ遅す ぎず ①ゆっくりでなくて も大丈夫だが、ハキ ハキと ②言わなくても、手 動で操作を行う メンタルモデル構築度合(点) 1回目 研究背景 80 70 60 50 40 30 20 10 0 実験前 音声(画面無し) 音+リ(画面無し) 1回目 10回目 音声(画面あり) 音+リ(画面あり) メンタルモデル構築度合の推移 アレクサの応答や精度が回数を重ねたことで理解し、発話方法に変化が生じ、結果メンタ ルモデルが構築されていったのではないか? 15

16.

音声+リモコン操作のプロトコル分析 10回目 ①滑舌よくハキハキと言 うようにした 画面 ②アレクサが何をできて 無し 何ができないか分からな いから、色々試してみた ①アレクサは何ができ て何ができないかが分 かり、音声とリモコン を使い分けてやった ②一つひとつハッキリ ①アレクサの使い方が分 からないから、ほとんど リモコンでやった 画面 ②アレクサでできない操 あり 作もある? ③ハキハキ丁寧に ①音声操作でミスして もう一度やるよりは、 確実なリモコン操作で やった ②音声操作をするとき は無駄なことは言わず にやった 研究目的 研究方法 結果・考察 300 250 タスク時間(s) 1回目 研究背景 200 150 100 50 0 音+リ(画面無し) 音+リ(画面あり) 1回目 2回目 3回目 4回目 5回目 6回目 7回目 8回目 9回目 10回目 実験回数 音声+リモコン操作操作のタスク時間の推移 画面無しでは、アレクサの性能を確認した被験者が多く、1回目でタスク時間がかかっていた のに対し、画面ありでは、アレクサの性能をほとんど確認せず、慣れたリモコン操作を用いた 被験者が多かったため、差が生まれたのではないか? 16

17.

ユーザビリティの問題 研究背景 研究目的 研究方法 結果・考察 今回の実験におけるユーザビリティの特徴的な問題として、アレクサへ話しかける時の ユーザの文言やアレクサの応答の違いが挙げられる。これはインスペクション評価を行っ たときにも確認できたものである[1]。 アレクサの応答の違い 同じ文言をアレクサに言っても、違う反応が出て、一貫性がない。 発話例 ユーザ:「アレクサ、ライトの色を青にして、明るさを60%にして」 アレクサ:「電球RGB調色はそのように設定できません」 ユーザ:「アレクサ、ライトの色を青にして、明るさを60%にして」 アレクサ: 「はい」 [1] 西川祐生,土井俊央:タスク分析とチェックリストによるスマートスピーカーのユーザビリティ評価,第18回日本感性工学会春季大 会,18巻,ROMBUNNO.1B01-04(WEB ONLY) (2023) 17

18.

まとめ 研究背景 研究目的 研究方法 結果・考察 • スマートスピーカーを何度も使うことでタスク時間,エラー回数の減少、メン タルモデルの構築に有意差がみられたが、音声操作の主観評価においては有意 差がみられなかった。 • 操作方法において各回で有意差はみられず、画面の有無においてはタスク時間 とエラー回数の1回目のみにみられた。 • スマートスピーカーを操作する回数が増えるにつれて、発話スピードや発話方 法に変化が生じ、学習効果が見られたが、評価に大きく影響は及ぼさなかった。 また、操作方法,画面の有無において学習面に着目した場合、影響がなかった ことが分かった。 18