評価設計からリリース後の運用と継続的な改善まで、理論と実践ハンズオンで学ぶ一冊
株式会社ジェネラティブエージェンツ（本社：東京都新宿区、代表取締役CEO：西見公宏、以下「当社」）の取締役CTO・大嶋勇樹が上野彰大氏と共著した『LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知』が、2026年9月24日に株式会社翔泳社から発売されました。
本書は、LLMアプリケーションの品質を確かめ、評価結果をもとに改善を重ねていくための考え方を、理論とハンズオンの両面から解説します。
＜書籍概要＞
『LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知』
- 著者：上野彰大、大嶋勇樹
- 出版社：株式会社翔泳社
- 発売日：2026年9月24日
- 価格：定価3,960円（本体3,600円＋税10%）
- 仕様：B5変形判／368ページ（紙版）
- ISBN：9784798190723（紙）、9784798190860（電子）https://www.shoeisha.co.jp/book/detail/9784798190723
▼本書の全体像と主な特徴
LLMアプリケーションを開発していると、「どこまでできればリリースしてよいのか」「プロンプトの変更によって品質が向上したのか」といった判断が必要になります。
しかし、LLMアプリケーションの望ましい出力は用途によって異なるため、一般的な評価指標だけでは品質を判断しきれません。
本書が解説する「評価駆動開発」では、アプリケーションが提供したい価値を明らかにし、それを確かめる評価を設計し、評価結果を開発と改善に反映します。
リリース後も実際の利用状況をもとに評価を続け、ユーザーの課題を解決できているかを確かめながらアプリケーションを育てていきます。
本書は理論編と実践編の2部構成です。
第1部（理論編）
評価の設計と運用の考え方を解説します。何のために、何を、誰が、どのように評価するかを整理したうえで、評価指標や合格基準を決める手順を扱います。LLMに出力を評価させる「LLM-as-a-Judge」については、使い方だけでなく、注意点や評価精度を高める方法も紹介します。
第2部（実践編）
LangSmithを使い、評価から改善までを実際に手を動かして体験します。お問い合わせメールへの返信案を生成するLLMアプリケーションを題材に、評価データセットの準備から、リリース前の評価とチューニング、リリース後のモニタリングまでを順に進めます。第1部で学んだ考え方を、ハンズオンで確かめられる構成です。
こんな方におすすめです。
- これからLLMアプリケーションの開発に取り組む方
- リリースしてよい品質かどうかの判断に悩んでいる方
- 運用中のLLMアプリケーションを継続的に改善したい方
▼当社執筆者の紹介共著書に『ChatGPT/LangChainによるチャットシステム構築［実践］入門』『LangChainとLangGraphによるRAG・AIエージェント［実践］入門』『実践Claude Code入門―現場で活用するためのAIコーディングの思考法』など。
本書では第2部の実践編を担当。
株式会社ジェネラティブエージェンツ 共同創業取締役CTO 大嶋勇樹
▼「AIエージェント開発者養成講座」で本書をもとにしたハンズオンを提供
当社の「AIエージェント開発者養成講座」は、AIエージェントの設計・開発・評価・運用までを実践的に学ぶ研修です。3日間で次のテーマを扱います。
[表: https://prtimes.jp/data/corp/147692/table/19_1_a81890f7539de3ecb29ec1d60981ecc0.jpg?v=202609242045 ]
1日目・2日目で技術要素と評価の基礎を学んだあと、3日目の「プロジェクト疑似体験」で学んだ内容を実際のプロジェクトの流れに当てはめます。このプロジェクト疑似体験が、本書第2部（実践編）をもとにしたハンズオンです。
【3日目「プロジェクト疑似体験」の内容】
1. お問い合わせ対応のAIエージェントを題材に、AIエージェント開発の進め方を学ぶ
2. データセットを使ったリリース前の評価と、コーディングエージェントによるチューニングを実施
3. 人手評価による評価指標自体の改善、リリース後の評価の実践
書籍で学んだ評価駆動開発の考え方を、実務に近い形で手を動かしながら身につけられます。
▼実績と専門性
当社は、AIエージェント開発・生成AI活用支援・企業向け研修を通じて、株式会社NTTデータ様、TIS株式会社様、ソリマチ株式会社様をはじめ、多くの企業のAI活用を支援してきました。関連研修の受講者は累計500名以上にのぼります。
■インタビュー記事
【NTTデータ イントラマート様】業務プロセス変革にAIを適用したい。NTTデータ イントラマートが選んだ実装知
【フォージビジョン株式会社様】クラウド・内製化支援のプロが、なぜAI研修を受けたのか
【ＪＢＣＣ株式会社様】「ＪＢアジャイル × AI」で開発現場の変革を加速
【株式会社NTTデータ様】先行する知見をチーム全体の力にーLLMアプリケーション開発技術の体系的習得
【TISI株式会社様】LLMアプリ開発研修実施の背景と今後への想い
【ソリマチ株式会社様】業務ソフトメーカーがAIエージェント開発で直面した現実
■出版書籍
2026.09.24 : LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知
2026.03.26 :［入門］LLMアプリ開発―基本・LLMのしくみ・MCP・AIセキュリティ（技術評論社）
2025.12.26 : 実践Claude Code入門―現場で活用するためのAIコーディングの思考法（技術評論社）
2025.08.25 : AWSのための生成AIアプリ構築実践ガイド（日経BP）
2025.07.17 : 現場で活用するためのAIエージェント実践入門（講談社）
2025.04.07 : Difyで作る生成AIアプリ完全入門（日経BP）
2024.11.09 : LangChainとLangGraphによるRAG・AIエージェント［実践］入門（技術評論社）
2023.12.16 : その仕事、AIエージェントがやっておきました（技術評論社）
▼会社情報
