CN128_飯田

CN128 星空観察における起点となる星のズレが 会話に及ぼす影響：仮想環境での検証 明治大学 飯田 空 中村 聡史

背景 • 星は特徴が少なく、指示語が曖昧になりやすい • 注視する星の違いができる • 「同じ星をみているつもり」 でもズレまま進行することがある 問題 ・会話は滑らかでも認識の一致が気づかないまま終わる可能性 ・ズレに気づいたとしてもどの星について話しているかわからなくなる 2

背景 • 星は特徴が少なく、指示語が曖昧になりやすい • 注視する星の違いができる • 「同じ星をみているつもり」 ズレを早期に捉え, 観察者が見る星を一致させる仕組みが必要 でもズレまま進行することがある 問題 ・会話は滑らかでも認識の一致が気づかないまま終わる可能性 ・ズレに気づいたとしてもどの星について話しているかわからなくなる 3

関連製品・研究 製品 ・ARアプリ：StarWalk2, SkyGuide[1] ・レーザポインター 関連研究 ・指差し動作を取り入れた観察支援[2] 学習者が指差しにより星や星座の名前を確認できるシステムの開発 ・視線共有を用いた星座環境[3] 互いの注視点を共有しながら観察できるシステムの開発 [1]. Fifth Star Labs: Sky Guide. https://www.fifthstarlabs.com/, accessed: 31 May 2024 [2].Soga, M., Matsui, K., Takaseki, K. and Tokoi, K.: Interactive learning environment for astronomy with finger pointing and augmented reality, 2008 Eighth IEEE International Conference on Advanced Learning Technologies, IEEE, pp. 542–543 (2008). [3]. Ohama, M. and Soga, M.: Collaborative Constellation Learning Environment with Sharing Learners’ Gazing Points in the Real Night Sky, 2012 IEEE Fourth International Conference On Digital Game And Intelligent Toy Enhanced Learning, IEEE, pp. 123–125 (2012). 4

背景：研究ゴール 将来的な支援手法 聴覚に着目した介入型音声支援手法 • 会話から見ている星のズレを推定 • 星を一致させるきっかけとなる音声を出力 B A 会話特徴 支援 アドバイス出力 推定 70%くらいでズレが起きてそう。。 少し見守ってキツそうだったら支援介入や！ 5

背景：研究ゴール 将来的な支援手法 聴覚に着目した介入型音声支援手法 • 会話から見ている星のズレを推定 • 星を一致させるきっかけとなる音声を出力 A B 会話特徴 支援 アドバイス出力 推定 70%くらいでズレが起きてそう。。 少し見守ってキツそうだったら支援介入や！ 6

これまで（CollabTech2025） 観察者間の視力の差に着目した実験 ・視力の差は見ている星のズレを生む要因の1つ ・参加者間の視力差が星空観察の会話に及ぼす影響を調査 ・視力差があるとえ？が増加する傾向 ・発話間隔が増える傾向が確認 見ている星が違う状態を 推定できるのでは？ Sora Iida, Satoshi Nakamura. Do You See What I See? Vocal Cues to Visual Acuity Discrepancies in VR-Based Stargazing, The 31st International Conference on Collaboration Technologies and Social Computing (CollabTech2025), Vol.16204, pp.123– 131, 2025. 良い 普通 悪い 7

これまで（CollabTech2025） 観察者間の視力の差に着目した実験 ・視力の差は見ている星のズレを生む要因の1つ ・参加者間の視力差が星空観察の会話に及ぼす影響を調査 視力差は見ている星のズレを起こす要因の1つ ・視力差があるとえ？が増加する傾向 ・発話間隔が増える傾向が確認 見ている星のズレが起きている状況を作り出し、 その時の会話を分析する必要がある 見ている星が違う状態を 推定できるのでは？ Sora Iida, Satoshi Nakamura. Do You See What I See? Vocal Cues to Visual Acuity Discrepancies in VR-Based Stargazing, The 31st International Conference on Collaboration Technologies and Social Computing (CollabTech2025), Vol.16204, pp.123– 131, 2025. 良い 普通 悪い 8

背景 星座の説明は最初に着目した星から説明される 起点星：星座の説明の最初に説明される星 起点星がズレると，会話は滑らかに見えても誤った認識で会話が進んでしまう この起点星を意図的にずらすことで， 星のズレがある環境を作り出すことができる 9

目的 観察者間で起きる見ている星のズレの推定に向けて， 見ている星の違いがある場合と 見ている星の違いがない場合の会話特徴の差を明らかにする 仮説 ・H1. ズレのある条件ではない条件よりもフィラーが増加する ・H2. ズレのある条件ではない条件よりも発話間隔が長くなる 10

実験：設計 見ている星のズレがある場合に，ズレがない場合との会話の違いを調べたい 起点のズレを操作することで環境を作り出す 起点ズレあり条件 起点ズレなし条件 最初に提示される星が参加者間で異なる 最初に提示される星が参加者間で同じ 11

実験：設計 実験タスク ・実験参加者2人である星座を会話しながら認識を一致させる課題を行う 伝達役 ・星座の場所・形・星の数を知っている ・理解役に対して口頭で説明する 理解役 ・星座の場所・形・星の数は知らない ・伝達役の説明を聞いて星座を特定する ・3分時点・タスク後に星座だと思う星を指差す 12

実験：設計 最終の答え合わせだけではズレが修復されたかどうかわからない →タスクの中間で答え合わせを設けることで修復されたかどうかを観測 伝 達 役 へ の 星 座 説 明 開 始 起 点 星 の 提 示 3分時点 最終 理 解 役 へ の 星 座 質 問 理 解 役 へ の 星 座 質 問 タスク時間：最大6分間 終 了 タ ス ク 後 ア ン ケ ー ト 13

実験：環境 実際の野外環境で実験をすることは難しい 2人が同じ星空で会話できる環境をVR上に再現 システム設定 ・ドーム上に500個程度の星を配置 ・星の大きさは4段階を用意 自作の星空・星座を描画 ・星空, 星座は8種類 14

実験：分析項目 客観結果（正答率：0〜1) ・3分時点正答率/ 最終正答率 会話指標 ・発話率/ターン交代率（回/分） ・平均交代間隔/沈黙時間（秒） ・フィラー率（回/分：全/「え」系） 主観評価（5段階：1〜5） ・円滑さ、星座の一致感、起点星の使いやすさ、楽しさ、ストレス 15

結果 実験参加者 ・同大学の大学生および大学院生（男性13名, 女性3名） ・参加条件として矯正時に視力が0.7以上 & 乱視影響なしとした ・参加者は固定のペアとし計8タスクに参加 ・計8ペアが実験に参加した 実験データ ・64件のタスクで得られたデータを分析対象とした（各条件32件ずつ） 16

結果：正答率 条件別の正答率平均 正答率 理解役が星座を構成する星の中からいくつ選べたか （例）7個の星がある星座で3個当たっている・・0.43 ・3分時点：ズレあり条件で有意に低下 ・最終：ズレあり条件で有意に低下 17

結果：会話指標 開始3分間 タスク全体 ・沈黙時間が有意に増加 ・全フィラー率が増加傾向 ・「え」は統計的に差はなし ・交代間隔・沈黙時間が有意に増加 ・全フィラー率は増加傾向 ・「え」は統計的に差はなし 18

結果：タスクごとの主観評価 1,4. 会話の円滑さについてもズレあり条件で有意に低下した 2,3. 星座の一致感についてズレあり条件で有意に低下した 5,6. 会話ごとの楽しさ・ストレスでは統計的に有意ではなかった 19

考察：仮説の検証 仮説 H1. ズレのある条件ではない条件よりもフィラーが増加する ・統計的に有意な差は見られなかった ・増加傾向は見られた H2. ズレのある条件ではない条件よりも発話間隔が長くなる ・タスク全体では支持された ・3分間では発話間隔において支持された 20

考察：無自覚なズレのある会話 ・起点ズレ条件であってもズレに気づき修正される会話が多かった ・主観評価は一致していると回答していても正答率の低い会話もあった →無自覚なズレのある会話 支援システムでは観察者間で起こる無自覚な見ている星のズレ を推定する必要がある 21

考察：無自覚なズレのある会話 支援システムでは観察者間で起こる 無自覚な見ている星のズレを会話から推定する必要がある 無自覚なズレ：一致感の主観評価が高いが答え合わせの結果が低い 無自覚なズレのある会話の特徴を調査する ・無自覚なズレのあるペアの1つと各条件の会話特徴を比較 ・会話特徴のみから識別できるか検討 22

考察：無自覚なズレのある会話 無自覚なズレのある会話と各条件の会話指標の比較 ・開始3分間においてズレなし条件よりも会話が円滑に進行しているように見える ・タスク全体ではズレあり条件に近いような値となる 無自覚なズレのある会話では 会話指標のみから起点のズレを判断することは難しい 23

考察：ケーススタディ LLMによる起点ズレ条件の推定 ・タイムスタンプ付きの会話から起点ズレ条件かどうかを推定させた ・再現率が高い一方、適合率が低い（見逃しは少ないが，語検知が多い） ・発話間隔などの会話指標を特徴とした 機械学習などの他手法による推定も検討する必要がある 24

Limitations 実験データ規模について ・条件に対するペア数・タスク数が限定的 ・星座刺激の差の影響を考慮した分析ができていない →ペア数・タスク数を増やす必要がある 会話データの品質について ・文字起こしタイムスタンプに誤差が含まれるため会話指標の値に不確実性が残る →文字起こし品質の検証・ログ同期の精度の向上が必要となる 25

今後 1. 起点ズレ推定に向けて ・発話指標（交代間隔・沈黙・フィラー）でどこまで推定できるか検討 ・機械学習やLLMなどの手法・角度情報の適した組み合わせの検討 2. 介入型支援の具体的な設計 ・観察者の会話を阻害しないタイミング・提示方法の検討 ・介入が過剰だと会話を損ねるため最小限で修復を促す設計が重要 26

まとめ 背景：見ている星のズレやすく、気づかなまま終わるズレが起こりうる 目的：起点星の不一致が会話に与える影響を明らかにする 実験：VR環境を用いて2人に起点星を提示し、異なる場合の影響を検証 考察：起点星の違いがある場合発話間隔・フィラーを増加させる傾向があった 展望：どの特徴が推定精度を上げるかを調査する 音声型介入支援手法の設計をする 27