>100 Views
April 06, 26
スライド概要
2026/04/02のDeNA/GO AI技術共有会の発表資料です。
NLP2026に聴講者として参加してきたので、そこで感じたNLP界隈の研究トレンドや、面白かった発表を共有します。
DeNAで働く25新卒AIフルスタックエンジニア
NLP2026参加報告 2026.04.02 柿木 幹太 株式会社ディー・エヌ・エー AI Community
自己紹介 ▪ 柿木 幹太 ▪ IT本部AI・データ戦略統括部AI技術開発部 AIイノベーショングループ ▪ 学生時代 ▪ ロボコン ▪ CV系の研究 ▪ 入社後 ▪ 25新卒として入社 ▪ 英会話アプリ「olelo」 ▪ バックエンドとインフラのオーナー ▪ LLMがコアの機能開発 AI 2
1. NLP2026から見る全体感 2. 興味深かった論文を簡単に紹介 目次 3
1. NLP2026から見る全体感 2. 興味深かった論文を簡単に紹介 目次 4
NLP2026とは ▪ NLP2026 ▪ 言語処理学会第32回年次大会 ▪ 日本の自然言語処理(NLP)領域において最大規模 ▪ 参加人数:2,236名(事前登録) ▪ 研究発表:797件 ▪ 開催概要 ▪ 2026/3/9〜2026/3/14の5日間で開催 ▪ 栃木県宇都宮市のライトキューブ宇都宮 ▪ DeNAからはAI技術開発部AIイノベGの森、柿木で参加 ▪ 勉強と懇親目的 5
タイムスケジュール ▪ 2026/3/9〜2026/3/14の5日間 日程 プログラム構成 主要コンテンツ・テーマ 形式 3/9 (月) チュートリアル / 招待論文 AIの安全性、生成AIと倫理、品質技術、 語順選好の認知科学 講義形式 3/10 (火) 一般セッション / 招待公演 評価・安全性、解釈可能性、テキスト生成 口頭・ポスター並列 3/11 (水) 一般セッション / 招待公演 / スポンサーミートアップ 対話、質問応答、マルチモーダル、知識 獲得。ロボット基盤モデル 口頭・ポスター並列 3/12 (木) 一般セッション / テーマセッ ション / 表彰 LLM構築、効率的手法、法ドメインNLP、 数式NLP、表彰式 口頭・ポスター並列 3/13 (金) ワークショップ LLMファインチューニング、言語資源構 築、国際会議挑戦、未来言語処理 議論・ワーク形式 6
参加統計 ▪ 軽く調べた感じ、JSAIや音響学会も参加者数は増加してる 7
参加統計 クラスタ名 件数 頻出キーワード群 概要 LLM評価・安全性・アラ イメント 約160 評価, ハルシネーション, アライメント, ジェイル ブレイク, バイアス, … LLMの社会実装に向けた多層防御ガードレールの構築や、脱獄攻撃 への耐性検証、社会的バイアスの制御に関する研究群 LLM内部解析・推論メカ ニズム 約140 内部表現, 位置埋込み, ステアリングベクトル, 情報スペクトル, 思考の連鎖, … ブラックボックスであるモデル内部の位置符号化や感情の空間マッピ ングを解析し、推論プロセスを数学的に解明する試み RAG・検索・情報抽出 約130 RAG, 検索拡張生成, 検索, 情報検索, 知識グ ラフ, 固有表現抽出 知識の陳腐化や矛盾を解決する長文脈RAGの構築、自律的なクエリ 生成など、外部知識を効率的かつ正確に統合・検索するシステムの開 発 ドメイン特化応用 (医療 ・教育・法務・経済) 約120 医療, 教育, 採点, 法務, 金融, 農業, 予測, 経 済 医療画像診断、小論文の自動採点、法務推論や経済予測など、専門 性の高い実社会課題にモデルを適用する実践的なアプローチ コーパス・データセット構 築 約100 データセット, コーパス, 構築, ベンチマーク, 語 彙, アノテーション 専門領域に特化した高品質なデータセットの作成や専門用語グラフの 体系化、および超大規模コーパスを高速処理するインフラ基盤の構築 マルチモーダル・音声・ テキスト生成 約90 マルチモーダル, 音声, 画像, 視覚, 生成, 自己 回帰 音声と意味の統合モデルや非自己回帰的なテキスト生成手法など、単 一のテキストの枠を超える生成基盤の革新を目指す研究 翻訳・言語学・基礎基盤 技術 約57 機械翻訳, 誤り訂正, 言語獲得, トピックモデ ル, 形態素解析 機械翻訳における言語間対応やトピックモデルの補正など、自然言語 処理の基礎を支える言語学的分析や要素技術の探求 8
古典的なNLPの手法に関する研究は? ▪ 「NLP = LLM」と感じるほどLLM一強の学会トレンド ▪ 肌感でも7割、8割がLLM関連のテーマに感じた ▪ HMM、CRF、SVMといった古典的な統計・機械学習モデルを主眼とした 研究はほとんど見かけなかった ▪ 古典的手法は「研究対象」ではなく「ツール」になった印象 ▪ 例えば、形態素解析・構文解析 ▪ アルゴリズムの研究ではなく、コーパス構築やデータ分析のための 「ツール」として利用はされている ▪ 研究のベクトルと役割の変化 ▪ NLPコミュニティの関心が、要素技術の構築から、巨大なブラックボッ クであるLLMの「内部解析・評価・制御・応用利用」を探求する方向性 に移行しているように感じる 9
1. NLP2026から見る全体感 2. 興味深かった論文を簡単に紹介 目次 10
論文紹介:SoftMatcha 2 ▪ タイトル ▪ SoftMatcha 2: 1兆語規模コーパスの超高速かつ柔らかい検索 ▪ 著者 ▪ 米田 優峻 (東大/NII), 鴨田 豪 (総研大/国語研), 松下 祐介 (京大), 末永 幸 平 (NII/京大), 秋葉 拓哉 (Sakana AI/東北大), 和賀 正樹 (NII/京大), 横井 祥 (国語研/東北大/理研) ▪ 論文概要 ▪ 1兆語超の超大規模コーパスに対し、文字の置換・挿入・削除を許容する 「柔らかい検索」を0.1秒単位で実行するシステム「SoftMatcha 2」を 提案 ▪ 新規アルゴリズムで計算の組合せ爆発を抑え、既存手法を大幅に凌駕す る高速化を実現 11
論文紹介:SoftMatcha 2 ▪ LLM時代のデータ規模と検索の必要性 ▪ 現代のAIモデルは1兆語を超えるコーパスで学習される ▪ モデルの振る舞い分析やデータ汚染の監査において、コーパス内の「用 例検索」が不可欠 ▪ 「柔らかい検索(あいまい検索)」のジレンマ ▪ 表記揺れやエラーを吸収するため、「置換・挿入・削除」を許容する検 索が求められる ▪ 既存の課題: 1兆語という規模に対して柔軟なマッチングを行うと、検 索パターンの「組合せ爆発」が発生し、実用的な時間での応答が不可能 だった 12
論文紹介:SoftMatcha 2 SoftMatcha 2(論文から引用) 13
論文紹介:SoftMatcha 2 ▪ 成果 ▪ 1兆語を超える超大規模コーパスに対しても、0.1秒単位という実用的な スピードで「柔らかい検索」を完了させることに成功(NLP2026 優秀 賞を受賞) ▪ 波及効果とユースケース ▪ AI開発の安全性向上: 学習データと評価ベンチマーク間の「データ汚染 (Contamination)」を高速かつ網羅的に検知・排除するインフラとし て機能 ▪ 計量的言語研究の加速: 言語学者が、表記揺れを含む膨大な用例をスト レスなく瞬時に収集・分析するための強力なツールとなる 14
論文紹介 ▪ タイトル ▪ 大規模言語モデルの探索型デコーディングにおける予算制約に整合的な 探索戦略 ▪ 著者 ▪ 宮本 空, 大葉 大輔 (科学大), 岡崎 直観 (科学大/産総研/NII) ▪ 論文概要 ▪ 大規模言語モデルの推論において、消費トークンなどの「計算予算」の 制約を考慮する探索手法「Budget-Guided MCTS」を提案 ▪ 残予算に応じて探索の幅と深さを動的に制御し、数学推論タスクで限ら れた予算下での解答精度を向上 15
論文紹介 ▪ 探索型デコーディングの台頭 ▪ MCTS(モンテカルロ木探索)などを用い、LLMに複数の思考経路を探 索させることで、推論の精度を大幅に高める手法が有効とされている ▪ 実運用における課題(予算の制約) ▪ 実際のシステムでは、消費トークン数や計算時間といった「計算予算」 に必ず上限がある ▪ 既存の弱点: 従来手法は残予算を考慮せずに探索を進めるため、予算枯 渇により途中で打ち切られると、性能(解答の精度)を最大化できない 16
論文紹介 ▪ 図は論文から引用 ▪ 予算が残ってるうちは、浅い 位置ノードを優先 ▪ 予算が枯渇してきたら、深い 位置のノードを優先 17
論文紹介 ▪ 成果 ▪ MATH500やAIMEなどの高度な数学推論タスクにおいて、固定された予 算制約下での解答精度を向上させることに成功 ▪ 本研究の意義と評価 ▪ AIの推論コスト(Inference Compute)の最適化は、現在のシステム開 発における最重要テーマの一つ ▪ 実用上のコスト制約とモデル性能のトレードオフを解決する実践的なア プローチとして、NLP2026にて「委員特別賞」および「若手奨励賞」を 受賞(新規性と有用性が高く評価された) 18
論文紹介:Llama-Mimi ▪ タイトル ▪ Llama-Mimi: 意味・音響トークンを交互配置した音声言語モデル ▪ 著者 ▪ 杉浦 一瑳 (京大/NII), 栗田 修平, 小田 悠介 (NII), 東中 竜一郎 (名大/NII) ▪ 論文概要 ▪ 従来のカスケード型(音声認識→テキスト処理→音声合成)を廃止 ▪ 音声言語モデルを極限まで単純化し、音声から抽出した「意味」と「音 響」のトークンを交互に配置して単一のTransformerで処理する 「Llama-Mimi」を提案 ▪ 音響一貫性で最高水準を達成し、音響表現と言語性能のトレードオフを 実証 19
論文紹介:Llama-Mimi ▪ 音声言語モデルの「複雑化」 ▪ 音声を離散トークンに変換し、言語モデルのように生成する技術が注目 されている ▪ 既存の課題: AudioLM(複数モデルの多段構成)やMoshi(二重 Transformer構造)など、意味と音響の両立のためにモデル構造が極め て複雑化している ▪ 本研究の目的 ▪ 「極限までシンプルなアーキテクチャでどこまで出来るのか?」を探索 ▪ 複雑な階層構造を排し、単一のTransformerデコーダのみで音響と意味 を同時に処理する画期的な手法を提案 20
論文紹介:Llama-Mimi Moshi(論文から引用) Llama-Mimi(論文から引用) 21
論文紹介:Llama-Mimi ▪ 成果 ▪ シンプルな単一モデル構造でありながら、話者の声質や抑揚を維持する 「音響一貫性」において最先端の性能を達成(NLP2026 最優秀賞を受 賞) ▪ 本研究が明らかにした新たな課題 ▪ トレードオフの発見: 表現力を高めるために音響トークンの情報量(量 子化段数)を増やすと、反比例して「言語的な性能(文法や意味の一貫 性など)」が低下することを実証 ▪ 今後の展望: 単一モデルでの統合可能性が示された一方で、マルチモー ダル基盤モデルにおいて「音質」と「知能(言語力)」をどう最適にバ ランスさせるかが今後の重要課題となる 22
全体通した感想 ▪ NLP界隈は順調に賑わってきている ▪ 古典的なNLPの手法は研究対象からツールに置き換わってきており、主な研 究対象はLLM関連となってきている ▪ LLMの「内部解析・評価・制御・応用利用」を探求する方向性に移行 ▪ 今後もこの流れは変わらなさそうだが、マルチモーダルの領域は勢いが 増しそう ▪ 基本的な発表形式がポスター発表となったことで、著者との議論や交流がし やすかった ▪ 大雪でめちゃめちゃ寒かったです... 23
参考文献 ▪ https://www.anlp.jp/nlp2026/ ▪ https://www.anlp.jp/guide/nenji_stat.html ▪ https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/C1-1. pdf ▪ https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/Q1-5. pdf ▪ https://anlp.jp/proceedings/annual_meeting/2026/pdf_dir/B7-15.pdf 24