社内LLM基盤構築

MakeSomethingNew株式会社は、大企業における生成AI・AI Agent活用を支援するため、社内向けのLLM基盤構築サービスを提供開始しました。

本サービスは、社内アプリケーション、チ
ャットUI、AI AgentなどからのLLM利用を一元化し、認証認可、モデルルーティング、利用ログ参照、監査対応を共通基盤として整備するものです。Azure OpenAI、OpenAI API、Groq、OSS LLMなど複数のLLMプロバイダーを用途や状況に応じて使い分けられる構成を想定しています。

企業における生成AI活用は、個人利用や部門単位の試験導入から、業務システム・社内ナレッジ・ワークフローと接続した本格運用の段階へ移行しつつあります。一方で、利用者ごとの権限管理、モデルごとのコスト・レイテンシ管理、監査ログの取得、障害時の代替ルート確保など、全社展開に向けた課題も増えています。

MakeSomethingNewは、生成AI活用支援・AI Agent構築支援・Web開発の知見をもとに、企業が安全にLLMを業務利用できる共通基盤の設計・構築を支援します。

提供背景
多くの企業で、ChatGPTをはじめとする生成AIの活用が進んでいます。しかし、部門ごとに個別のAIツールやAPI連携を導入すると、以下のような課題が発生します。
・誰が、どの業務で、どのモデルを利用しているか把握しづらい
・部署ごとに認証・ログ・セキュリティ設計が分散する
・LLM APIのレート制限や障害時に業務影響が出やすい
・コスト、トークン量、レイテンシ、エラーを横断的に管理できない
・AI Agentから社内APIや社内データへ安全に接続する設計が難しい
こうした課題に対し、本サービスでは、アプリケーションごとの個別実装ではなく、企業全体で共通利用できるLLM基盤を構築します。

サービスの主な特徴
1. 社内IDと連携した認証認可
Entra IDなどの社内ID基盤と連携し、ユーザー、部門、アプリケーションロールに応じて、利用可能なモデルや用途を制御します。これにより、個人利用の拡散を防ぎながら、企業の統制に沿った生成AI活用を実現します。
2. 複数LLMプロバイダーへのルーティング
Azure OpenAI、OpenAI API、Groqなど複数のLLMプロバイダーを束ね、モデル特性、レート制限、応答速度、コスト、障害状況に応じてリクエストを振り分けます。特定モデルやリージョンに障害が発生した場合も、代替先への切り替えを支援します。
3. 利用ログ・監査ログの可視化
ユーザー、部門、アプリ、モデル単位で、トークン使用量、レイテンシ、エラー、コストを追跡できるようにします。運用チーム、セキュリティ部門、事業部門が同じログを参照しながら、利用状況の把握、改善、監査対応を行える状態を目指します。
4. AI Agent構築に必要な社内接続基盤
LLM APIを単に中継するだけでなく、AI Agentが参照する社内データ、実行するツール、呼び出す業務APIを管理可能な形で接続します。開発チームは、認証・ログ・ルーティングなどの共通機能ではなく、各業務に特化したAgent設計に集中できます。

想定する導入シーン
本サービスは、以下のような企業・部門での活用を想定しています。
・全社的に生成AI活用を進めたいが、セキュリティや監査面に課題がある企業
・複数部門でAI Agentを導入したい企業
・Azure OpenAI、OpenAI、Groqなど複数LLMを用途別に使い分けたい企業
・社内チャット、業務システム、ナレッジベースにLLMを組み込みたい企業
・LLM利用量、コスト、レイテンシ、エラーを一元的に可視化したい企業

MakeSomethingNewについて
MakeSomethingNew株式会社は、「新しい何かを創造する」を掲げ、NPO向けシステム開発、生成AI活用支援、Web開発を提供する企業です。
生成AI・LLMを活用したWebサービス開発、AI Agent構築、プロンプトエンジニアリング、業務システムへのAI組み込みなどを通じて、企業・組織の新しい事業開発と業務改善を支援しています。
サービスページ
社内LLM基盤構築サービス
https://llm-infra.makesomethingnew.jp/

会社概要
会社名：MakeSomethingNew株式会社
事業内容：NPO向けシステム開発、生成AI活用支援、Web開発
Webサイト：https://makesomethingnew.jp/
お問い合わせ：eiichi_sugiyama@makesomethingnew.jp

企業プレスリリース詳細へ
PR TIMESトップへ