LLMのTool選択理由、RAG参照根拠、MCP Tool実行を本文非保存で追跡する「Senda-Argus Hooks」をGitHubで公開
RainForestは、AI Agentの判断・根拠・実行を監査する純国産Security for AI基盤「Senda-Argus」の技術プレビューとして、AI Agent向けログ収集ライブラリ「Senda-Argus Hooks」をGitHubで公開しました。Senda-Argusに関連するAI Agentの実行証跡収集、判断過程の再構成、Runtime Audit Eventの相関分析に関する一部技術は、現在、日本国内で特許出願中です。
GitHub: https://github.com/rainforest-tokyo/senda_argus_hooks
生成AIの活用は、単なるチャット利用から、RAGによる社内データ参照、MCPによる外部Tool連携、AI Agentによる自律的な判断・実行へと進化しています。一方で、企業のセキュリティ運用においては、「AI AgentがなぜそのToolを選び、実際に何を実行したのか」を監査・検証する仕組みが重要になっています。
Senda-Argus Hooksは、AI AgentがLLMを用いてToolを選択し、RAGを参照し、MCPなどの外部Toolを呼び出す一連の流れを、step単位で記録・解析するCollectorです。LLMが出力する task_summary、reason_summary、selected_tool を取得し、Agent decisionおよび実際のMCP Tool Callと突合することで、AI Agentが「どのようなタスクと判断し」「なぜそのToolを選択し」「実際にどのMCP Toolを呼び出したのか」を監査可能にします。
また、RAG context、prompt本文、MCP resultなど、社内の重要情報を含む可能性があるデータはdefaultでは保存せず、messages_hash、context_hashes、result_hash、purpose_id などのHASHとmetadataを中心に記録します。これにより、企業環境におけるPrivacy-SafeなAI Agent監査を目指します。
背景：AI Agent時代に求められる新しいセキュリティ監査
AI Agentは、LLMの判断に基づいてRAGを参照し、MCPやAPIを通じて外部Toolを呼び出すことで、従来のアプリケーションよりも柔軟かつ自律的に業務を実行できます。
一方で、セキュリティ市場では以下のような課題が顕在化しています。
- LLMがなぜ特定のToolを選択したのかが分からない
- RAGでどの社内文書やナレッジが参照されたのか追跡しづらい
- Agent decisionと実際のTool Callの整合性を確認しづらい
- promptやRAG contextを保存すると、機密情報・個人情報・顧客情報の取り扱いが課題になる
- MCPや外部Tool連携により、AI Agentの実行範囲が拡大している
Senda-Argusは、こうした課題に対し、AI Agentの「判断」「根拠」「実行」を横断的に記録・解析するSecurity for AI基盤を目指しています。
Senda-Argus Hooksの主な特徴
1. LLMのTool選択理由を記録
Senda-Argus Hooksは、LLMがTool選択時に返す以下の情報を取得します。
- task_summary: LLMがタスクをどう理解したか
- reason_summary: なぜそのToolを選んだのか
- selected_tool: LLMが選択したTool
- selected_tool.arguments: Tool呼び出しに必要な引数情報
これにより、単に「Toolが呼ばれた」だけではなく、「LLMが何を理解し、なぜそのToolを選んだのか」を監査できます。
2. Agent decisionと実MCP Tool Callを突合
LLMが選択したToolは、Agent decisionとして記録され、その後、実際のMCP Tool Callと突合されます。
Senda-Argus Hooksでは、selected_tool_purpose_id と mcp.tool_call.purpose_id を用いることで、以下を確認できます。
- LLMが選択したToolとAgent decisionが一致しているか
- Agent decisionと実際のMCP Tool Callが一致しているか
- 選択されたToolの目的IDと、実際に呼ばれたMCP Toolの目的IDが一致しているか
- selected_tool = null の場合に、不要なMCP Tool Callが発生していないか
これにより、AI Agentの判断と実行の整合性を確認できます。
3. RAG参照根拠をPrivacy-Safeに追跡
RAGでは、社内文書、ナレッジベース、セキュリティ調査資料など、重要な情報が参照される可能性があります。
Senda-Argus Hooksでは、RAG context本文をdefaultでは保存せず、以下のHASHとmetadataを中心に記録します。
- query_hash
- context_hash
- context_hashes
- document_ids_hash
- chunk_ids_hash
- result_hash
- data_source_hash
- retriever_name
- collection_name
- vector_store
- score range
これにより、本文を保存せずに、どのRAGデータソースが使われたか、同じ根拠集合が再利用されたか、根拠集合が変化したかを確認できます。
4. prompt / context / result本文をdefault OFF
企業環境では、LLM prompt、RAG context、MCP resultに、機密情報、顧客情報、個人情報、調査対象情報が含まれる可能性があります。
Senda-Argus Hooksでは、以下の本文系データをdefaultでは保存しません。
- LLM prompt本文
- LLM raw response本文
- RAG query本文
- RAG context本文
- retrieved text本文
- MCP arguments本文
- MCP result本文
一方で、監査・再現性確認に必要なHASHはdefaultで記録します。
- messages_hash
- message_content_hashes
- message_content_hash
- query_hash
- context_hashes
- arguments_hash
- result_hash
これにより、本文を保存しないPrivacy-Safeな設計と、監査可能性の両立を目指します。
5. MCP / RAG / LLMを横断したpurpose_id
Senda-Argus Hooksでは、MCP URL、Tool名、capability、RAG data source、retriever、collection、vector storeなどの情報から purpose_id を生成します。
これにより、AI Agentが「何の目的で、どのデータソースやToolにアクセスしたのか」を追跡できます。
従来のAI Observabilityとの違い
従来のAI Observabilityは、prompt、response、token、latency、Tool Callなどの実行ログを確認することに重点が置かれてきました。
Senda-Argusは、AI Agentのセキュリティ監査に必要な以下の観点を重視しています。
[表: https://prtimes.jp/data/corp/89968/table/24_1_fd9a67f600aef6c84c2bf1f071f77779.jpg?v=202606300945 ]
Senda-Argus Hooksは、単なるAI Agentログ収集ではなく、「LLMがなぜそのToolを選び、RAGのどの根拠を参照し、Agentが実際にどのMCP Toolを呼び出したのか」を監査するためのCollectorです。
今後の展開
RainForestは、Senda-Argus HooksをSenda-ArgusのCollector機能として位置付け、今後、Senda-Argus API/DB、Diff Engine、分析UIとの連携を進める予定です。
今後の開発予定は以下の通りです。
- AI Agent実行ログの収集・保存・解析API
- Agent decisionとMCP Tool Callの整合性チェック
- RAG根拠集合の差分検知
- prompt / RAG / MCP結果のHASHベース監査
- AI Agentの振る舞い変化検知
- Security for AI向けの分析UI
- SOC / CSIRT / AIガバナンス部門向けの監査レポート生成
Senda-Argusは、日本国内で開発を進める純国産Security for AI基盤として、企業のAI Agent活用における監査、統制、セキュリティ運用を支援していきます。
GitHub
Senda-Argus Hooksは以下のGitHubリポジトリで公開しています。
https://github.com/rainforest-tokyo/senda_argus_hooks
RainForestについて
RainForestは、AI、サイバーセキュリティ、脅威インテリジェンス、セキュリティ自動化領域における研究開発を行っています。AI Agent時代に必要となるSecurity for AI基盤の実現に向け、Senda-Argusをはじめとした各種技術開発を進めています。
【会社概要】
会社名：株式会社RainForest
事業内容：AI for Security、脅威インテリジェンス、AI Agent / MCP関連技術の研究開発
URL：https://www.rainforest-cs.jp/
【お問い合わせ】
株式会社RainForest
お問い合わせ先：info@rainforest.jp