うさうさ研修工房 ／ AI設計書レビュー PoC設計書レビュー × AI活用【完全版】_202606221200

うさうさ研修工房 ／ AI設計書レビュー PoC 設計書レビュー × AI活用【完全版】 言語処理（文字）・音声処理・その他観点（画像/図面・コード・トレーサビリティ）を図解＋実践ステップで網羅 言語処理（文字） 音声処理 画像・図面 コード整合 評価・トレース 各トピック＝1ページ図解＋1ページ実践ステップ。出典は国内・海外の査読済み論文（URL付き）。 基盤：Transformer (Vaswani 2017, NeurIPS) → BERT (Devlin 2019, NAACL) → LLM。文字・音声・画像・コードを同じTransformer系で扱える。

AI UTILIZATION MAP 全体像：モダリティ別AI活用マップ 入力モダリティ AIパイプライン 言語処理（文字） 設計書・標準の本文 音声処理 レビュー会議の発言 → 画像・図面 AI基盤モデル Transformer/BERT/LLM ＋ RAG → 設計書レビュー 観点別・根拠付き → 評価・ゲート Judge/RAGAS UML・構成図・画面 コード 実装との突合 考え方： 4つのモダリティを同じTransformer系AIで処理し、観点別レビュー→構造化所見→評価ゲートへ集約。以降のトピックで各段を図 解＋ステップ化。 完全版 ― 全体像 02

TOPIC 1 ・ TEXT / NLP 【図解】言語処理（文字）：本文から所見を作る 設計書テキスト 本文・標準 → 前処理・分割 → 固有表現抽出 分類 要約 曖昧・矛盾検出 用語・数値 観点に割当 章の要旨 整合チェック 章/項・表 ▼ 基盤と勘所 BERT/LLMの文脈埋め込みで用語ゆれ・多義性を検出。 標準とのRAG突合で網羅性・一貫性を点検。 構造化所見（観点・該当箇所・重大度・根拠） 査読基盤：Devlin 2019 / NAACL（BERT）・Hou 2024 / ACM TOSEM・Luitel 2024 / Requirements Eng. 03

TOPIC 1 ・ TEXT / NLP 【実践ステップ】言語処理（文字）の実装 1 テキスト正規化・構造化 2 タスク分解 抽出（用語/数値）・分類（観点割当）・要約（章要旨）・検出（曖昧/矛盾）に分ける。 3 RAGで標準と突合 用語辞書・社内標準を索引化し、一貫性・網羅性を根拠付きで点検。 4 曖昧表現を検出→言い換え提案 「等」「適切に」など多義表現を抽出し、具体化候補を提示。 5 所見を構造化 観点・該当箇所・重大度・根拠を1レコードに。後段の集計・評価へ。 章・項番号を保持し表をMarkdown化。引用できる単位に整える。 実務Tips： ドメイン用語辞書をRAGに載せると固有表現抽出と用語ゆれ検出の精度が大きく上がる。 査読済み出典： aclanthology.org/N19-1423（BERT）／ doi.org/10.1145/3695988（LLM4SE） 04

• https://aclanthology.org/N19-1423/

TOPIC 2 ・ SPEECH 【図解】音声処理：レビュー会議を所見に変える 会議音声 録音 16kHz → ASR文字起こし → Whisper/ESPnet 話者分離 誰の発言か → 要約・抽出 決定/宿題/未決 → 設計書へ紐づけ 論点と対応 肝：発言を「設計書の論点」に結びつける 文字起こし→話者・時刻付き議事録→決定/宿題/未決に分類し、設計書の該当箇所へリンク。レビューの抜け漏れと言った言わないを防ぐ 。 査読基盤：Radford 2023 / ICML（Whisper）・Watanabe ほか 2018 / Interspeech（ESPnet, 国内中心） 05

TOPIC 2 ・ SPEECH 【実践ステップ】音声処理の実装 1 録音品質を整える 16kHz・ノイズ低減・できれば話者ごとマイク分離。認識精度の土台。 2 ASRで文字起こし Whisper / ESPnet で書き起こし。専門用語は辞書・プロンプトで補正。 3 話者分離＋時刻付与 誰がどの論点をいつ発言したかを記録。議事の追跡性を確保。 4 要約・アクション抽出 決定事項／宿題／未決に分類し、担当・期限を構造化。 5 設計書へ紐づけ 議事の論点を設計書の該当章へリンクし、レビュー所見へ連携。 実務Tips： 製品名・専門用語はASR後にRAG辞書で後補正すると誤認識を大幅に減らせる。 査読済み出典： arxiv.org/abs/2212.04356（Whisper）／ doi.org/10.21437/Interspeech.2018-1456（ESPnet） 06

• https://arxiv.org/abs/2212.04356

TOPIC 3 ・ IMAGE / DIAGRAM 【図解】画像・図面：図と本文の不一致を見つける OCR＋レイアウト理解 図面/UML/画面 → LayoutLM 画像・PDF → 構造抽出 要素・関係 → 本文と整合チェック 記載漏れ・不一致 図構造の読取り (VLM) ViT系・ノード/矢印 図と本文を相互参照して矛盾を検出 画面項目・状態遷移・構成要素を図から抽出し、設計書本文の記述と突合。「図にあるが本文に無い／値が違う」を所見化。 査読基盤：Xu 2020 / KDD（LayoutLM）・Dosovitskiy 2021 / ICLR（ViT） 07

TOPIC 3 ・ IMAGE / DIAGRAM 【実践ステップ】画像・図面の実装 1 図面・UML・画面設計を取込 画像/PDFで取り込み。可能ならベクタ元データ(PlantUML等)を優先。 2 OCR＋レイアウト理解 LayoutLMで要素・位置・テキストを構造的に抽出。 3 図構造をVLMで読取り ViT系でノード・矢印・状態遷移など図の関係を把握。 4 本文との整合チェック 図の要素と設計書テキストを突合し、記載漏れ・不一致を検出。 実務Tips： 図はベクタ元データがあればそれを最優先。画像解析は元データが無い場合の手段と割り切る。 査読済み出典： doi.org/10.1145/3394486.3403172（LayoutLM）／ arxiv.org/abs/2010.11929（ViT） 08

• https://doi.org/10.1145/3394486.3403172

TOPIC 4 ・ CODE CONSISTENCY 【図解】コード×設計：仕様と実装の整合 設計書（仕様） 機能・I/F・制約 → 埋め込み＆対応付け → CodeBERT/LLM コード（実装） 関数・I/F ▼ 不整合の検出：未実装 / 仕様外 / 値や型の乖離 仕様 実装を双方向に突合。テストコードも対象に含めると「仕様 テスト 実装」の三点照合になり、抜けが見える。 査読基盤：Feng 2020 / Findings of EMNLP（CodeBERT）・Hou 2024 / ACM TOSEM（LLM4SE） 09

TOPIC 4 ・ CODE CONSISTENCY 【実践ステップ】コード×設計整合の実装 1 仕様項目を構造化 設計書から機能・I/F・制約を抽出し、トレース可能な単位に分解。 2 コードを解析・埋め込み 3 仕様 実装を対応付け 4 不整合を検出 未実装・仕様外・値/型の乖離を抽出。テストコードも突合対象に。 5 所見化＋修正方針 設計書とコードのどちらを直すべきかまで添えてレビュー所見に。 CodeBERT/LLMで関数・I/Fを意味埋め込みし、仕様と比較可能に。 トレーサビリティ・マトリクスで紐づけ、対応関係を可視化。 実務Tips： 「仕様 テスト 実装」の三点照合にすると、仕様にもテストにも無い実装＝隠れ仕様を発見できる。 査読済み出典： aclanthology.org/2020.findings-emnlp.139（CodeBERT）／ doi.org/10.1145/3695988（LLM4SE） 10

• https://aclanthology.org/2020.findings-emnlp.139/

TOPIC 5 ・ TRACEABILITY & EVAL 【図解】横断観点：トレース連鎖と品質ゲート トレーサビリティ連鎖 → 上位要件 → 下位要件 → 設計 → コード テスト 品質ゲート（評価） Judge＋RAGAS → 妥当性/忠実性を採点 → 閾値判定 → 合否ゲート 所見＋典拠 合格→マージ 未達→差戻し 各リンクの根拠 肝： 要件→テストまでの各リンクに根拠を必須化し、Faithfulness等を閾値ゲート化してCIに組込む。横断的に「抜け」と「劣化」を止め る。 査読基盤：Zheng 2023 / NeurIPS（Judge）・Es 2024 / EACL（RAGAS）・Preda 2024 / MSR（カバレッジ） 11

TOPIC 5 ・ TRACEABILITY & EVAL 【実践ステップ】トレース＆評価ゲートの実装 1 トレース連鎖を定義 要件→設計→コード→テストのリンク構造を決める。 2 各リンクを自動マッピング RAG/埋め込みで対応関係を推定し、カバレッジを可視化。 3 所見をJudgeで採点 LLM-as-a-Judgeで妥当性を採点。審査と対象を分離しバイアス対策。 4 RAGASで忠実性を定量化 Faithfulness等を算出し、閾値で品質ゲート化。 5 CIに組込み＋抜き取り検証 未達はマージ不可。定期的に人手サンプル検証で妥当性を担保。 実務Tips： 全所見に「典拠」を必須化し、Faithfulnessで監視するのが横断品質の要。完璧主義より運用を回す。 査読済み出典： arxiv.org/abs/2306.05685（Judge）／ aclanthology.org/2024.eacl-demo.16（RAGAS） 12

• https://arxiv.org/abs/2306.05685

REFERENCES 01 参考文献① 基盤・言語処理・音声（査読済み・URL付き） 1 Vaswani ほか 2017 Transformer / NeurIPS arxiv.org/abs/1706.03762 2 Devlin ほか 2019 BERT / NAACL aclanthology.org/N19-1423 3 Lewis ほか 2020 RAG / NeurIPS arxiv.org/abs/2005.11401 4 Hou ほか 2024 LLM4SE 体系的レビュー / ACM TOSEM doi.org/10.1145/3695988 5 Luitel ほか 2024 要求の完全性 / Requirements Engineering 6 Ren, Nakagawa & Tsuchiya 2024 7 Radford ほか 2023 Whisper / ICML arxiv.org/abs/2212.04356 8 Watanabe ほか 2018 ESPnet（国内中心）/ Interspeech doi.org/10.1007/s00766-024-00416-3 要求抽出（国内・阪大）/ COMPSAC doi.org/10.1109/COMPSAC61105.2024.00181 doi.org/10.21437/Interspeech.2018-1456 国内＝Ren/Nakagawa/Tsuchiya（大阪大学）・ESPnet（日本の研究者中心）／ 海外＝その他。

• https://arxiv.org/abs/1706.03762
• https://aclanthology.org/N19-1423/
• https://arxiv.org/abs/2005.11401
• https://doi.org/10.1145/3695988
• https://doi.org/10.1007/s00766-024-00416-3
• https://doi.org/10.1109/COMPSAC61105.2024.00181
• https://arxiv.org/abs/2212.04356
• https://doi.org/10.21437/Interspeech.2018-1456

REFERENCES 02 参考文献② 画像/図面・コード・推論・評価（査読済み・URL付き） 9 Dosovitskiy ほか 2021 Vision Transformer / ICLR 10 Xu ほか 2020 LayoutLM（文書画像理解）/ KDD 11 Feng ほか 2020 CodeBERT / Findings of EMNLP aclanthology.org/2020.findings-emnlp.139 12 Wei ほか 2022 Chain-of-Thought / NeurIPS 13 Wang ほか 2023 Self-Consistency / ICLR 14 Zheng ほか 2023 LLM-as-a-Judge / NeurIPS arxiv.org/abs/2306.05685 15 Es ほか 2024 RAGAS / EACL 16 Lubos ほか 2024 要求のQA / IEEE RE（Xplore収録） scholar.google.com（タイトル検索） arxiv.org/abs/2010.11929 doi.org/10.1145/3394486.3403172 arxiv.org/abs/2201.11903 arxiv.org/abs/2203.11171 aclanthology.org/2024.eacl-demo.16 すべて査読済み会議・論文誌。Lubos のみ購読版中心のため検索リンクを掲載（捏造なし）。

• https://arxiv.org/abs/2010.11929
• https://doi.org/10.1145/3394486.3403172
• https://aclanthology.org/2020.findings-emnlp.139/
• https://arxiv.org/abs/2201.11903
• https://arxiv.org/abs/2203.11171
• https://arxiv.org/abs/2306.05685
• https://aclanthology.org/2024.eacl-demo.16/
• https://scholar.google.com/scholar?q=Leveraging LLMs Quality Assurance Software Requirements Lubos

TAKEAWAYS 完全版のまとめ 文字：本文を構造化所見に BERT/LLM＋RAGで用語ゆれ・曖昧・不整合を根拠付きで検出。 音声：会議を追跡可能に Whisper/ESPnetで議事を所見化し、設計書の論点へ紐づけ。 画像/図面：図と本文を突合 LayoutLM/ViTで図を読み、記載漏れ・不一致を発見。 コード：仕様 実装を照合 CodeBERTで三点照合（仕様/テスト/実装）し乖離を検出。 横断：根拠と評価で守る 典拠必須＋Judge/RAGASを閾値ゲート化しCIで劣化を止める。 結論： 文字・音声・画像・コードを同じAI基盤で扱い、根拠と評価で品質を担保。出典は国内海外の査読済み論文。