新卒AIフルスタックエンジニアが語るAI×プロダクト開発

新卒AIフルスタックエンジニアが語る AI×プロダクト開発 柿木 幹太 / かっきー IT本部 AI・データ戦略統括部 AI技術開発部 AIイノベーションG 株式会社ディー・エヌ・エー © DeNA Co., Ltd. 1

目次 1 今日話すことについて 2 LLMワークフローの構築について 3 LLMを組み込んだプロダクト開発の知見 4 まとめ © DeNA Co., Ltd. 2

自己紹介 柿木 幹太 / かっきー ● ● © DeNA Co., Ltd. 学生時代 ○ ロボコン ○ CV系の研究 ○ インターン＆ハッカソン 社会人時代 ○ 25卒として新卒入社 ○ 研修（〜8月） ○ LLMを組み込んだ新規プロダクト開発 ■ バックエンドとインフラをメイン担当 ■ LLM組み込んだ機能実装をサブ担当 3

新卒AIフルスタックエンジニアが語る AI×プロダクト開発 © DeNA Co., Ltd. 4

LLMワークフローの構築について 新卒AIフルスタックエンジニアが語る AI×プロダクト開発 LLMを組み込んだプロダクト開発の知見 © DeNA Co., Ltd. 5

新卒AIフルスタックエンジニアが語る AI×プロダクト開発 © DeNA Co., Ltd. 6

具体的な業務とか、開発内容みたいな話は、懇親会でしましょう！ 新卒AIフルスタックエンジニアが語る AI×プロダクト開発 © DeNA Co., Ltd. 7

LLMのAPIを叩くだけではプロダクトにならない ● LLMと周辺エコシステムを理解し、使いこなすことで、できることの幅は一気に広がる ○ 今回は、その一例を紹介します ● LLMの特性を理解し、プロダクトに組み込む必要がある ○ どんな壁があって、どう乗り越えるのかお伝えします * 今回の発表では、ソースコードによる実装紹介はしません！ © DeNA Co., Ltd. 8

LLMワークフローの構築について © DeNA Co., Ltd. 9

LangChainとLangGraph ● LangChain：「部品」と「道具箱」 ○ ○ コンポーネントを作る ■ LLM、プロンプト、外部ツール（検索APIやDBなど）で構成 ■ プロンプト管理、LLMへの統一インターフェース、出力パーサー、... 線形なチェーン型のワークフローを実現できる ● LangGraph：「設計図」と「状態管理」 ○ ○ © DeNA Co., Ltd. 部品を組み上げて制御する ■ ノード+エッジで構成 ■ 動的制御フロー、高度な状態管理、HITL グラフ型のステートフルで複雑なワークフローを実現できる 10

信頼性の高い「LLMの最新情報サマリー」を作る Step 1 単純な API呼び出し © DeNA Co., Ltd. Step 2 Web検索による グラウンディング Step 3 段階的な ワークフロー Step 4 外部連携 でソースを指定 11

Step 1：単純なAPI呼び出し × 情報が古い 手段：素のLLM APIを呼び出す ● 「DeNAはAIオールイン宣言」 シンプルな実装が可能だが、LLM × ハルシネーション の知識は学習時点で止まっている 「2025年12月にDeNAはLLMの 基盤モデル開発を宣言しました！」 © DeNA Co., Ltd. 12

Step 2：Web検索によるグラウンディング × プロンプトが長大に 手段：グラウンディング ● Web検索APIの結果をそのままプロ ンプトに突っ込む ● サマリー形式、様々な注意事項、... 管理が大変 × 性能やコスト面で課題 LLM APIの呼び出す手法によって 様々なタスクを1度に与えてしまう は、Web検索のツールを指定でき × 直近のコアな情報が拾いにくい たりする 「〇〇社が〇〇モデルの発表」 収集する情報は最新になるが... インパクトが強く少し古い情報を 回答しやすい © DeNA Co., Ltd. 13

Step 3 : 段階的なワークフロー 手段：ワークフロー構築 ● 処理をノードとして分解 ● エッジと状態管理でフローを制御 〇 信頼性の高い最新情報を収集 「〇〇社が最新モデルをリリース」 「Deep Research Agentリリース」 ファクトチェック用のノードを追加 〇 役割に合わせたLLMを選択可能 分解したタスクごとに最適なLLMを 選択でき、性能やコストを最適化 © DeNA Co., Ltd. 14

Step 4 : 外部連携でソースを指定 手段：外部連携でソースを指定 ● 有益なニュースレターやWebサイ トは存在が知られている ● 自身に届くニュースレターのメー ルにラベルを付与して、APIで収集 ● 特定のWebサイトをURLコンテキ ストで指定 ● 〇 定期的な情報収集を行いやすい ソースの限定や閲覧済み情報の排除 によって、既に知っている情報以外 が入手しやすくなる 〇 信頼性が更に向上 そもそも信頼できるソースのみから 情報収集を行える 閲覧済みの情報は重複排除 © DeNA Co., Ltd. 15

Step 4 : 外部連携でソースを指定 手段：外部連携でソースを指定 ● 有益なニュースレターやWebサイ トは存在が知られている ● 自身に届くニュースレターのメー ルにラベルを付与して、APIで収集 ● 特定のWebサイトをURLコンテキ ストで指定 ● 〇 定期的な情報収集を行いやすい ソースの限定や閲覧済み情報の排除 によって、既に知っている情報以外 が入手しやすくなる 〇 信頼性が更に向上 そもそも信頼できるソースのみから 情報収集を行える 閲覧済みの情報は重複排除 © DeNA Co., Ltd. 16

より複雑なワークフローにしてみた！ © DeNA Co., Ltd. 17

より複雑なワークフローにしてみた！ 収集結果を評価し、品質が低い場 合は再収集リトライ回数を状態で 管理し、上限に達したら次へ進む エラー判定とリトライ処理を追加して、 部分的成功でも処理を継続 ユーザーがワークフローに介入（HITL） © DeNA Co., Ltd. カテゴリ分類することで、各カテゴリ に最適化された詳細補完プロンプトを 使用可能に 18

LLMと周辺エコシステムを理解し、 使いこなすことで、 できることの幅は一気に広がる © DeNA Co., Ltd. 19

LLMを組み込んだプロダクト開発の知見 © DeNA Co., Ltd. 20

LLMの特徴を理解する ● 先ほど紹介したように、LLMで出来ることの幅は広い！ ● 一方で、プロダクトに組み込む際には以下のような困難さもある © DeNA Co., Ltd. ○ レイテンシ ○ 技術選定 ○ コスト ○ セキュリティ ○ … 21

LLMのレイテンシ問題 ● LLMのレスポンスは不安定 ○ 出力は不安定で、エラーが起きることも多い ○ 処理の内容によってはレイテンシが数分はざら ● 独立したLLM呼び出しは積極的に並列化すべき ● レイテンシの可視化（ログ・モニタリング）で問題を早期発見 ○ ボトルネックの特定 ● ストリーミングレスポンスは長時間処理のUX改善に有効 ● 指数バックオフによるリトライ機構 ● 遅いことを前提とした設計が必要とされる © DeNA Co., Ltd. 22

LLMプロダクトにおけるレイテンシのアラート戦略 〇 動的・セグメント化された アラート戦略 × 固定閾値アラートの限界 ● 単純な固定閾値 ● 全てのAPIコールを一律で評価 ↓ ● 「P95レイテンシ」が過去7日 間の平均P95から20%以上増加 ● 「P99レイテンシ」は固定閾値 プロンプト長やモデル負荷、 （ユーザー体験を大きく損な タスクの複雑さで応答速度が う極端な遅延を検知） 大きく変動してしまうため困難 ● エンドポイントもしくはセグ メントごとに設定 © DeNA Co., Ltd. 23

技術選定とモデル依存性 ● LLM領域は技術の進化が速い ○ ● ● 特定のモデルやプロバイダにロックインされない設計が求められる LangChainのような抽象化レイヤーが有用 ○ 具体的なモデル指定を外部化すると、さらに恩恵が大きくなる ○ とは言え、完全にロックインを避けるのは困難 プロンプトはコードと同様にバージョン管理すべき資産 ○ © DeNA Co., Ltd. プロンプト管理や出力をトレースできるSaaSが結構便利 24

LLM APIは高コスト ● タスクに応じてモデルを使い分けることでコスト最適化 ● ○ 使い分け可能にするためにも、適切なタスク分割が求められる ○ 出力長制限を指定して、確実なトークン削減 全API呼び出しでコスト追跡は必須 © DeNA Co., Ltd. ○ コストログを後から追加するのは難しいことも... ○ コストログは初期から追跡できる基盤を用意する 25

多層的なセキュリティ防御 ● LLMを組み込むことで考慮する必要が出るセキュリティが存在する ● プロンプトインジェクション対策は必須 ○ ユーザー入力を「データとして」扱う ○ ユーザー入力を明確にセパレートした構造化プロンプト ○ システムプロンプトとユーザー入力の明確な分離 ● コンテンツポリシー違反ものが出力されることも... © DeNA Co., Ltd. ○ ローカルフィルタで明らかなケースを高速ブロック ○ LLMを用いたガードレールも有用 26

【LLMの難しさ】まとめ ● その他にも、 ● ○ どうLLMの品質を計測、評価するか？ ○ プロバイダーのレート制限を考慮したスケーラビリティ ○ … これらの点を踏まえた上で、LLMをプロダクトに組み込む必要がある！ © DeNA Co., Ltd. 27

まとめ：AIフルスタックエンジニアリングの価値 ● LLMと周辺エコシステムを理解し、使いこなすことで、できることの幅は一気に広がる ○ グラウンディング等の手段を知り使いこなす ○ タスク分解してワークフローを構築する ● LLMの特性を理解し、プロダクトに組み込む必要がある © DeNA Co., Ltd. ○ LLMを組み込むことの難しさを理解する ○ 難しさを乗り越える手段を知り使いこなす 28

© DeNA Co., Ltd. 29