1,200件の高難度な日本語問題を収録、200件の先行提供を開始
株式会社いちから（本社：東京都目黒区、代表者：安藤まや、以下「いちから」）は、日本語LLMの性能評価・改善に活用できる「日本語LLMのための高難度問題データセット」の提供を開始いたします。
本データセットは、一般的なLLMでは回答するのが難しい高難度な日本語問題1,200件を収録したデータセットです。
複数のLLMを用いた評価・検証を行い、LLMの知識だけではなく、情報を組み合わせて推論すること、言葉の持つニュアンスを読み取ることなどを必要とする問題を収録しています。
今回、1,200件のうち200件について、先行提供を開始いたします。
特設ページはこちら
日本語LLMをめぐる課題
近年、LLMの性能は急速に向上し、企業における業務活用やAIサービスへの導入が進んでいます。
一方で、一般的なベンチマークや既存の問題では、最新のLLMが高い正答率を示すケースも増えており、モデル間の性能差や、より高度な推論能力を十分に評価することが難しくなっています。
特に日本語LLMにおいては、日本語特有の表現や文脈を理解しながら、複数の条件を整理して回答する能力など、単純な知識問題とは異なる評価が求められています。
そこでいちからでは、「LLMが簡単には正解できない日本語問題」に着目し、推論、STEM、指示追従性、ニッチな知識、言葉の扱いなど、さまざまなタイプの高難度な問題を体系的に収録したデータセットを開発しました。
「日本語LLMのための高難度問題データセット」について
本データセットには、LLMの性能評価・分析に活用できる高難度な日本語問題を1,200件収録しています。
問題は、単純な知識の有無だけで回答できるものだけではなく、問題文に含まれる複数の情報や条件を整理し、適切な推論を行うことが求められる問題も含め構成しています。
また、各問題には参考回答を付与しており、LLMの回答結果との比較や評価に活用できる構成としています。
データセットの構成としては、質問、参考回答（語句回答・文書回答）、質問タイプ、回答タイプ、分野、参考URLが基本構成となっています。そのうち参考回答が語句のもので推論が必要なものには導出手順を付与しています。
データセットの例
「質問タイプ」「回答タイプ」「分野」のラベル一覧
LLMによる性能評価
本データセットの難易度を検証するため、一部サンプルを用い複数のLLMを対象として評価を実施しました。
その結果、評価対象となったLLMにおいて正答率は34~2%となり、現在のLLMにとっても回答が容易ではない問題群であることが確認されました。
本データセットの構築方法に起因する制約により、 GPT-5.2とGemini2.5-proの正解率の差を、 両モデルの性能差として解釈することはできません。
ここでの精度はあくまで本データの一部のサンプルに対する正解率であり、ベンチマーク結果ではありません。
今回の評価結果から、本データセットはLLMの性能差を確認するための評価用データとしてだけでなく、モデルの弱点や課題を分析するためのデータとしても活用できると考えています。
200件の先行提供を開始
今回、1,200件のデータセットのうち、200件を先行提供いたします。
提供価格：198万円（税込）
データセットの導入をご検討の企業様には、専用のお申し込みページから利用規約をご確認いただいたうえで、注文書によるお申し込みを受け付けています。
1,000件の提供について
残りの1,000件については、2026年9月20日までにお申し込みいただいた企業様と協議のうえ、提供方法及び金額を決定する予定です。
独占提供や回答カスタマイズ、複数社での共有など、利用目的に応じて柔軟に対応します。
本データセットに関するご質問・ご相談は、お気軽にお問い合わせください。
お問い合わせはこちら
今後について
いちからでは、今後もLLMの性能評価・改善に活用できる高品質な日本語データの開発を進めてまいります。
LLMの性能向上に伴い、より高度な推論能力や日本語特有の文脈理解など、新たな評価課題への対応が求められています。
今後もAI開発・LLM開発に携わる企業や研究機関のニーズを踏まえながら、日本語LLMの評価・改善に活用できるデータセットの提供を目指してまいります。
株式会社いちからについて
株式会社いちからは、分野依存のAIを含め、AI・LLM領域におけるデータ開発および技術支援、コンサルテーションを行っています。
企業のAI活用・AI開発を支援し、日本におけるAIの発展に寄与することがいちからの願いです。
会社概要
会社名：株式会社いちから
所在地：東京都目黒区中根1-6-1
代表者：安藤まや
事業内容：LLM関連データ開発、AI技術コンサルティング
URL：https://ichikara.ai/