AIは「空気を読む」ことができるか？InfiniMind、日本語動画AIの評価基盤「NARU Bench」をリリース
インフィニマインド株式会社
ハイコンテクストな動画理解の限界を測る「新たな評価軸」を政府主導「GENIAC」の一環として東京大学と共同開発。147時間の長尺日本語動画から「空気を読む」「本音と建前」などAIの限界を可視化
[画像1:
https://prcdn.freetls.fastly.net/release_image/166252/8/166252-8-ac49af72ee8498175b0c470779a5e75c-1600x900.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
マルチモーダルモデルは、動画を「観る」ことにおいて目覚ましい進歩を遂げてきました。短いクリップのキャプション生成や、画面に映る事実に関する質問への回答、さらには数時間に及ぶ映像から特定の瞬間を検索することも可能になりました。しかし、2時間に及ぶインタビューの中で人物の動機がどう移り変わるかを追うことや、日本語の「相槌」一つに込められた意味合いを読み取ることをモデルに求めると、途端に難易度が跳ね上がります。
本日、わたしたちが公開する「NARU Bench（Narrative And cultural Reasoning Understanding）」は、まさにこの課題に挑むものです。実際の日本のメディアにおいて真に重要となる「動画理解力」を測定し、現在のモデルが人間レベルに到達するまでにどれほどのギャップがあるかを明らかにするために構築した、オープンなベンチマークです。本ベンチマークは、InfiniMind と 東京大学 の共同研究により開発されました。
NARU Bench は
Hugging Face と
GitHub で現在公開中で、
lmms-eval を使ってすぐに実行できます。
日本国内の動画コンテンツ市場は、2025年に約6,300億円（約40億米ドル）に達しました。この種のコンテンツは規模が膨大であるだけでなく、極めてハイコンテクストです。発話として明示的に語られる内容以上に、その場の空気感、間接的な表現、人間関係の力学を通じて多くの意味が伝えられます。AIシステムがこうしたコンテンツを真に理解しているかを評価するには、単純な物体認識やクリップ単位のQ&Aをはるかに超えたアプローチが必要です。
既存の動画ベンチマークは分野を前進させてきましたが、共通する盲点を抱えています。
- 英語への偏重： 既存ベンチマークの大半は英語コンテンツを用いており、非英語圏のメディアや、そこで要求される「文化的な推論能力」はほとんど検証されていません。- 短尺・検索への偏り。 長尺動画のベンチマークであっても、その多くはモデルが明示的な情報を探し出す、あるいは想起する能力を測るにとどまり、時間を通じて一貫した物語のモデルを保持できるかは問いません。- ローコンテクストな前提。 重要な情報が平易に述べられているメディアに依存しているため、暗黙の社会的手がかりや、文化に根差した意味の理解を測ることができません。
NARU Bench は、これらの中でも最も難しい2つの課題、すなわち長尺の物語追跡とハイコンテクストな文化的推論の交わる領域に位置し、実際の日本語動画を用いて評価します。
本ベンチマークは、155本の日本語YouTube動画から作成した1,481問の多肢選択問題で構成されています。インタビュー、対談、トーク形式の番組など、30分から240分にわたる約147時間のコンテンツが対象です。すべての質問と選択肢は日本語で記述されており、正答するには実際に動画を観る必要があります。これらの質問は、書き起こしテキストや言語的な事前知識だけでは答えられないように設計されています。
ベンチマークは2つのトラックと9つのタスクタイプにまたがります。
物語理解力（745問）
[画像2:
https://prcdn.freetls.fastly.net/release_image/166252/8/166252-8-588a4ec269b4775040678cd71127082d-1945x572.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
文化的理解力（736問）
[画像3:
https://prcdn.freetls.fastly.net/release_image/166252/8/166252-8-f9dc4e83b7518a31207c7f09c3c45c50-1957x785.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
構築手法の詳細は近く公開予定の論文で述べますが、要点は以下のとおりです。
ソースデータ。 約10万本の動画プールに対し、自動音声認識（ASR）で日本語を主体とするコンテンツを選別し、再生時間によるフィルタリング（30分以上）で約8,000本の候補に絞り込みました。その後、レビュアーが、映像の完全性、物語の連続性、社会的相互作用、意味的多様性の観点から最終的なセットを精選しました。
アノテーションとQA生成。 長尺の動画をチャンクに分割しつつ、階層的なメモリ機構によってセグメント間の物語の連続性を保持する、エージェントベースのアノテーション基盤を構築しました。構造化されたアノテーション（存在・出来事・物語の筋・文化的手がかり）が、制約に基づく質問生成器に入力されます。反復的なデバイアス・ループでは、動画を見ずに各質問に答えようとするブラインド・ソルバーを含め、テキストだけで解けてしまうものを検出して修正します。
人手による検証。 すべての質問について、日本語ネイティブスピーカーが正確性・関連性・難易度、そして動画の理解を真に必要とするかどうかを確認しました。
1,481問のベンチマーク全体で、複数のモデルを評価しました。
[画像4:
https://prcdn.freetls.fastly.net/release_image/166252/8/166252-8-a317d2c35af1b7a2d6bd41acc514e542-1950x917.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
結果は明らかです。選択肢が4つの場合、ランダムに回答しても25%の正答率になります--そして、有力なオープンウェイトモデルのいくつかは、その水準をかろうじて上回るにすぎません。テストした中で最も強力な汎用オープンウェイトモデルでも33.9%にとどまります。当社の DeepFrame 8B は 32.1% を記録し、30BのQwen3-Omniのようなはるかに大きなモデルに匹敵しました。しかし本当に注目すべきは、プラットフォームレベルでの結果です。当社モデルに動画全体にわたる検索（リトリーバル）とエージェント的推論を組み合わせた DeepFrame Platform は、テストした全システム中で最高となる55.3% を達成しました。これは最良の単体モデルの約1.6倍にあたります。それでもなお、信頼できる人間並みの理解には大きな隔たりが残っています。NARU Bench は本当に難しく、そこにこそ意義があります。汎用的な動画QAでは決して表面化しない、物語理解と文化的推論の失敗をあぶり出すのです。
NARU Bench は lmms-eval と直接統合されており、フォークなしで簡単に実行可能です。
[画像5:
https://prcdn.freetls.fastly.net/release_image/166252/8/166252-8-d12aa93940ea95019275553a63e9a749-1907x657.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
データセットは
infinimind/naru_benchmark にあります。全タスクをまとめて実行することも、個別のサブタスク（例：narubench-cultural-2.1.aizuchi）を評価することもできます。ソース動画はIDで参照されます。アーカイブ済みのコピーが必要な研究者は、データセットカード内のリンクからアクセスを申請できます。
NARU Bench は InfiniMind と 東京大学 が共同で開発しました。日本のAI基盤モデル開発を強化するための政府主導の取り組みである GENIAC（Generative AI Accelerator Challenge）の文脈の中で構築されたものです。NARU Bench は、英語中心のベンチマークでは手の届かない領域である、日本語メディアの理解に向けた評価基盤を提供します。
- ソースデータの拡充 - YouTube にとどまらず、日本のテレビや構造化された放送メディアへ- 手法の改良 - 自動化パイプラインと人手による検証の継続的な改善- 論文の公開 - 構築・手法・包括的な評価をまとめた論文を準備中
NARU Bench は本日より公開されています。実際の日本語動画を扱う必要がある--画面に映るものを認識するだけでなく、その意味を理解する必要がある--マルチモーダルモデルを構築・評価するすべての方にとって、本ベンチマークが役立つことを願っています。
- データセット:
huggingface.co/datasets/infinimind/naru_benchmark- コード:
github.com/infinimind-inc/naru_benchmark
データセット（質問、選択肢、メタデータ）は CC BY-NC-SA 4.0 のもとで公開されています。評価コードは Apache-2.0 のもとで公開されています。参照される動画は、元の制作者の利用規約および YouTube の利用規約に従います。
会社名: InfiniMind Inc（日本支社：インフィニマインド株式会社 （旧）SDio株式会社）
代表者: 代表取締役 カイ アバ
設立: 2024年11月
所在地: 214 Homer Ave, Palo Alto, CA 94301 USA (日本支社：東京都千代田区大手町)
事業内容: 大規模映像基盤モデル、エンタープライズ向けAI検索プラットフォームの開発・提供
URL:
https://infinimind.io
【InfiniMindについて】
InfiniMindは、世界中に存在する膨大な動画データを、ビジネスで活用可能な「構造化データ」へと変換する映像に特化したAIインフラを構築しています。Googleで動画レコメンデーションの研究やデータサイエンスのチームを率いた経験を持つ創業メンバーを中心に、最先端の映像基盤モデル（LVM）の研究開発を行い、2024年11月に本格始動して以来、経済産業省の生成AI開発支援プロジェクト GENIAC第3期やGoogle、NVIDIA等の大手プラットフォームスタートアッププログラムへの採択、日本で2社のみとなるAWS GAIA 2025（Generative AI Accelerator）への選出等、Deep Techの最前線から映像基盤モデルのグローバル・スタンダードを確立すべく、日本を拠点に世界市場の変革に挑んでいます。
現在一緒に世界で闘う仲間を積極採用中です。Linkedin、または以下メール等でお問い合わせください。
本件に関するお問い合わせ先
Email: support@infinimind.io
プレスリリース提供：PR TIMES
記事提供：PRTimes
