えだまめ早食いMRアプリから始める地域課題解決

えだまめ早⾷い MRアプリから始める 地域課題解決 XR × AIで描く新潟のミライ図！ KomeKaigiなのに枝⾖ですみません🙇 fubuky35 KomeKaigi 2026 2026/10/31 世界えだまめ早⾷い選⼿権 2026 出場の様⼦ 出展：https://www.youtube.com/live/hgoeyIYID3k

⾃⼰紹介 fubuky35 昨年の作品 フブキ サンジュ―ゴ 新潟市で働くソフトウェアエンジニア にいがたXRスクール 第2期⽣ XR / 3DCGが好き 最近はAI‧機械学習も勉強中 えだまめ早⾷い選⼿VR にいがたデジコングランプリ2025 テクノロジー部⾨ 優秀賞🏆 XR × 新潟で、いろいろ作ってます！ 02

新潟、実は「えだまめ県」です 新潟は枝⾖の⽣産量、消費量 全国 1 位 でも県外にはあまり知られていない... 美味しい新潟枝⾖を⾃分たちでほとんど⾷べてしまうから😂 出典：新潟県「8⽉の旬 えだまめ（茶⾖）」 https://www.pref.niigata.lg.jp/sec/syokuhin/shun08-edamame.html 03

• https://www.pref.niigata.lg.jp/sec/syokuhin/shun08-edamame.html

世界えだまめ早⾷い選⼿権 100秒 で、どれだけたくさん枝⾖を⾷ べられるかを競う⼤会 約1万⼈ 来場者 アオーレ⻑岡 / 2026年 出展：https://www.youtube.com/live/hgoeyIYID3k 約600kg 2026年⼤会ポスター 出展：https://edamame.world/ 世界最⼤級の枝⾖の祭典 イベント全体で消費 04

枝⾖早⾷いを攻略するMRアプリを作成！ https://www.youtube.com/watch?v=Hle1ZNc01jI ⾚枠：3粒枝⾖ 緑枠：2粒枝⾖ 3粒枝⾖を狙う早⾷い戦略！ Quest 3 Camera API ↓ Unity Sentis ↓ YOLOv9t YOLOv9tをファインチューニングして枝⾖専⽤AIを作成 → Quest3でリアルタイム検出 05

• https://www.google.com/url?q=https://www.youtube.com/watch?v=Hle1ZNc01jI&sa=D&source=editors&ust=1793408423035099&usg=AOvVaw0W7yTo3x8KjOo7qSFXiJjz

枝⾖専⽤AIを育てるデータ戦略 2. ドメイン適⽤ 1. 特徴学習 3. ネガティブサンプル 「枝⾖じゃない」を覚える 本番の⾒え⽅に適応 枝⾖そのものの特徴を学習 約30枚 (約10%) 約200枚 約100枚 ⼤きく‧くっきり撮影 これだけで枝⾖の粒数は判定できる 課題：実環境(Quest)での利⽤ Quest Camera APIで実環境を撮影 課題：誤検知 枝⾖のない写真も追加 誤検出対策 ⾃前撮影‧⼿動アノテーションで300枚超 開発で使った枝⾖は1kg超。毎⽇の枝⾖を茹でてくれた家族に感謝です🙇 06

本番でも問題なく動作！……しかし https://youtube.com/shorts/S4xcJ-AqQb8?feature=share 予選敗退 AI：✓ Quest：✓ ⼈間：× ボトルネック： 私の早⾷いフィジカル でも、新潟の枝⾖は最⾼に美味しかった！✨ 07

• https://www.google.com/url?q=https://youtube.com/shorts/S4xcJ-AqQb8?feature=share&sa=D&source=editors&ust=1793408423714617&usg=AOvVaw1dEqRJAYB7caeQRyH_Th-r

この技術、えだまめ早食い以外にも使えるのでは！？ 応⽤の可能性 抽象化すると 今回やったこと 3粒⼊りを ⾒つける ⼭盛りの枝⾖から検出 その場でXR表⽰ AIで⾒つけ XRで伝える 対象の条件を変えれば 別のものにも使えるかも 農業‧製造業 選別‧検査へ 規格‧熟度‧キズ‧⽋陥 現場を⽀えるヒントに 枝⾖早⾷いの技術が、地域の「⼈⼿不⾜」を考えるヒントに 08

技術のムダ使いから、新潟の未来へ ● 技術のムダ使いは最⾼に楽しい！ ● それを別のことに使えないか考えてみたら⸺ 興味 × 技術 × 課題が「お結び」されて 新しい何かが⽣まれそうな予感！ 最後に、県外からKomeKaigiにお越しの皆様 新潟県は「えだまめ」県🫛 これだけでも覚えて帰ってください！ 09