AIを本番環境で確実にスケールさせる上で、最大のボトルネックはモデルの性能ではなくキャパシティ制限、AIリクエストの約20件に1件が本番環境で失敗

ニューヨーク - 2026年6月2日 - AIを活用したオブザーバビリティおよびセキュリティプラットフォームのリーディングカンパニーであるDatadog, Inc. (NASDAQ: DDOG) は本日、2026年版AI Engineering調査レポートを発表しました。本レポートによると、AIの導入が加速する中、AIを大規模かつ安定的に運用する上での最大の障壁はモデルの知能そのものではなく、運用の複雑性にあることが新たな調査で明らかになりました。
本レポートは、本番環境でAIを運用する数千の組織から得られた実データをもとに分析したもので、AIシステムの拡大に伴い複雑性が加速度的に増していることを示しています。現在、約7割(69%)の企業が3種類以上のAIモデルを利用しており、エージェントワークフローもますます複雑化しています。また、本番環境におけるAIモデルへのリクエストの約5%が失敗しており、そのうち約60%はキャパシティ制限が原因となっています。これにより、AIを活用したアプリケーションにおいて処理の遅延やエラー、ユーザー体験の低下が発生しています。
レポートの主な調査結果は以下の通りです。
- マルチモデル利用が標準に:OpenAIは依然として63%のシェアを持つ最も利用されているプロバイダーだが、Google GeminiおよびAnthropic Claudeの採用も拡大しており、それぞれ20ポイント、23ポイント増加
- エージェントフレームワークの利用が前年比で倍増:開発スピードを加速させる一方で、本番システムは複雑化
- AIモデルへ送信されるデータ量も増加:1リクエストあたりの平均トークン数は、「一般的な利用量」のチーム(利用量中央値=50パーセンタイル)で2倍以上、「高利用」のチーム(90パーセンタイル)では4倍以上に増加
DatadogのChief Product Officer であるヤンビン・リーは以下のように述べています。
「AIは、クラウドが登場した初期の頃と似た状況になりつつあります。クラウドはシステムをプログラム可能にしましたが、その一方で管理の複雑性も大幅に高めました。現在、AIは同じことをアプリケーションレイヤーで起こしています。成功する企業は、より優れたモデルを構築する企業ではなく、そのモデルを適切に運用するための管理体制を構築する企業です。この新しい時代において、AIオブザーバビリティは10年前のクラウドオブザーバビリティと同じくらい重要な存在になっています。」
スピードにはコントロールが必要
競争の激化により、スタートアップから大企業まで、AIの導入は急速に進んでいます。しかし、システムの規模が拡大するにつれて、コントロールを伴わずにスピードだけが増すことは新たなリスクを生み出します。現在では、障害の多くがシステム設計に起因しており、分断されたワークフロー、過剰なリトライ処理、非効率なルーティングなどが原因となっています。
Next.jsの開発元であり、AIを活用したWebアプリケーション構築プラットフォームのリーディングカンパニーであるVercelのCEO、ギジェルモ・ラウフ氏は以下のように述べています。
「次に起こるエージェントの障害は、エージェントにできないことが原因ではなく、チームが観測できないことが原因になるでしょう。Vercelでは、エージェントにも優れたソフトウェアと同様の本番環境におけるフィードバックループが必要であるという考えから、エージェント向けインフラを構築しました。従来のソフトウェアとは異なり、エージェントはLLM自身によって制御フローが決定されるため、オブザーバビリティは単に有用なだけでなく、不可欠なものです。」
リーはさらに以下のように述べています。
「イノベーションだけでは十分ではありません。AIを自信を持ってスケールさせるためには、GPU利用状況からモデルの挙動、エージェントワークフローに至るまで、スタック全体にわたるリアルタイムの可視性が必要です。可視性と運用管理こそが、信頼性やガバナンスを犠牲にすることなく迅速な開発を可能にします。大規模な環境では、どのモデルを選ぶか以上に、AIをどのように運用するかが重要になるかもしれません。」
2026年版AI Engineering調査レポート(日本語版) は以下よりご確認いただけます。 https://www.datadoghq.com/ja/state-of-ai-engineering/
本レポートの調査手法
Datadogは、LLMを本番環境で利用している数千の顧客から取得した匿名化された利用データを分析しました。対象は業界・地域を問わずグローバルにわたります。
Datadogについて
Datadogは、AI時代におけるオブザーバビリティおよびセキュリティプラットフォームのリーディングカンパニーです。テクノロジースタック全体を統合的に可視化し、大規模化・複雑化するシステムの管理を支援します。AIを活用し、アプリケーション、インフラストラクチャ、データ、モデル、セキュリティを一元的に統合することで、お客様への影響が生じる前に問題を早期に検知・解決します。Datadogは、Fortune 500企業や急成長するAI分野のリーダー企業をはじめ、世界中のお客様から信頼を得ており、ビジネスにおける迅速な意思決定と実行を可能にします。
将来の見通しに関する記述
本プレスリリースには、新製品および新機能の利点に関する記述を含め、米国1933年証券法(Securities Act of 1933)第27A条および米国1934年証券取引所法(Securities Exchange Act of 1934)第21E条に規定される「将来予想に関する記述」が含まれています。これらの将来予想に関する記述は、当社の新製品および新機能の利点に関する記述が含まれますが、これらに限定するものではありません。実際の結果は、将来見通しに関する記述とは異なる可能性があり、「リスクファクター」の見出しの下に詳述されているリスクをはじめ、2026年5月7日に米国証券取引委員会に提出したForm 10-Qの四半期報告書を含む米国証券取引委員会への提出書類および報告書、ならびに当社による今後の提出書類および報告書に記載されている、当社が制御できない様々な仮定、不確実性、リスクおよび要因の影響を受けます。法律で義務付けられている場合を除き、当社は、新しい情報、将来の事象、期待の変化などに応じて、本リリースに含まれる将来の見通しに関する記述を更新する義務または責務を負いません。