LLMのブランド想起のモデル世代間比較調査を実施【株式会社トドオナダ】
株式会社トドオナダ
Opusの新旧2世代を各100回試行で比較、報道量の推移との対応を調査
株式会社トドオナダ（本社：東京都台東区、代表取締役社長：松本泰行）は、大規模言語モデル（LLM）の特定カテゴリ質問に対する「想起集合」が、モデルの世代交代によってどう変化するかを調査しました。
同一の質問を Claude Opus 4.8 と Claude Opus 5 に各100回投げ、挙がった項目とその順位を集計。あわせて、同期間の国内ニュース報道量の推移と照合しました。
Claude Opus 5 は、知識のカットオフが2026年5月、リリースが同年7月24日です。この約2か月を経たモデルにも、新しい知識が反映されていました。
あわせて、想起集合には強固なものと不安定なものがあり、その強度は1世代分のデータだけで測れること、不安定な想起集合では、報道に数か月続く「山場」があった対象が上位に現れていることを確認しました。
[画像1:
https://prcdn.freetls.fastly.net/release_image/54369/279/54369-279-b61f8a1f12f2f444e61f84bfb77e3944-2048x1143.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
調査の背景
LLMの開発は、大きく2つの期間に分かれます。前半は、大量のテキストを読み込ませる期間（事前学習）。企業名や商品名がどのカテゴリと結びついて記憶されるかは、この期間に決まります。後半は、読み込んだ内容を人が使える形に調整し、安全性を検証する期間（事後学習）。本調査が対象とするのは、前半で形成される結びつきです。
この開発を一から行う場合、これまでは時間を要してきました。フロンティアモデルで期間が公表されている事例を並べると、以下のようになります。
[表1:
https://prtimes.jp/data/corp/54369/table/279_1_8b286e4e3797d9886c3a8f384c9f9cb4.jpg?v=202608241015 ]
さらにデータの収集・前処理を前段に加えれば、モデル開発には追加の期間が必要になります。
※異なるモデル・ベンダーの公表値を期間ごとに並べたもので、単一モデルの実際の所要期間ではありません。また、Llama 3.1 405Bの「約80日相当」は累積GPU時間を16,000基で単純換算した値であり、Metaが実際の壁時計時間を約80日と公表したものではありません。
つまり、ある時期にWeb上に掲載された情報が、AIが実際に答えに反映されるまでには、相応の時間差があるというのが従来の前提でした。企業側から見れば、いま発信した情報がAIの回答に現れるまで年単位で待つ、ということになります。
一方で、主要なLLMベンダーが公表する「知識のカットオフ」と製品リリースの間隔は、近年短くなってきています。
知識のカットオフとは
各社が公表する「Knowledge cutoff（知識のカットオフ）」は、そのモデルがどの時点までの情報について広く・安定して知識を持つかを示す目安です。定義や表現はベンダーによって異なり、学習データの収録上限と同義とは限りません。
Web上の記事は、収集されたあと、選別や重複の除去などの工程を経て学習用データになり得ます。そのため、カットオフ以前に公開された情報であっても、モデルが必ず学習している、あるいは確実に回答できるとは限りません。
このことは、各社の公表のしかたにも表れています。Anthropicは2種類の日付を公表しています。
[表2:
https://prtimes.jp/data/corp/54369/table/279_2_3bb019fbdd5cd509a00b9d2cff098e73.jpg?v=202608241015 ]
企業の広報活動から見れば、発信した情報が次の学習に届くかどうかは、締切日との前後関係だけでは決まりません。締切に間に合うか、工程を通過するか、そして確実に想起される水準まで定着するかいは複数の条件がかかります。
各社の公表情報を並べると、以下のようになります。
[表3:
https://prtimes.jp/data/corp/54369/table/279_3_dd795bc79d9c747955a622e303ef5a7d.jpg?v=202608241015 ]
※各社の公表情報にもとづく。知識カットオフの定義は各社で必ずしも同一ではないため、単純比較には留意が必要です。
従来の開発サイクルと比べると、この間隔は短いものです。
反映までに年単位を要するのであれば、その間はAI検索対策などで当座をしのぐしかありません。しかし待ち時間が数か月の単位であれば、AIの次のモデル更新に向けて対策を実施する事前学習対策が現実的な選択肢に入ってきます。
LLMOのあり方が変わる可能性があります。
ただし、 各社がどのような開発手法をとっているかは公開されておらず、本調査はその推測を目的とするものではありません。
そこで本調査では、内部構造には踏み込まず、外から観測できる範囲だけを対象としました。
[表4:
https://prtimes.jp/data/corp/54369/table/279_4_8d7f4daa8c2a7e017fe36fca49aacc39.jpg?v=202608241015 ]
モデル側の調査には、当社のLLM認知測定ツール「ディギディギ」を使用しました。質問文の生成、同一質問の反復実行、回答に挙がった項目の抽出、出現率と順位の集計までを同ツールで行っています。
報道側の調査には、当社のPR効果測定ツール「Qlipper」を使用しました。対象キーワードと各カテゴリの共起記事を収集し、月次の推移を集計しています。
同じ質問を100回繰り返すことで、1回の回答のばらつきではなく、各項目の出現率と平均順位を推定しています。
主な調査結果
主な調査結果 0. 約2か月で公開されたモデルにも、新しい知識が反映されていた
Claude Opus 5 はカットオフが2026年5月、リリースが7月24日。約2か月です。この世代の映画の想起集合は2025年公開作品に入れ替わり、前世代と共通する作品は上位10件中0件でした。調整の変更だけでは説明できない変化です。
主な調査結果 1. 想起集合には強固なものと不安定なものが存在、その強度は1世代のデータだけで測れる
同じ質問を100回投げると、回答は毎回まったく同じにはなりません。そこで、100回の回答どうしがどれだけ重なっているかを測りました。これを試行間重複率と呼びます。1.0なら毎回まったく同じ顔ぶれ、0に近いほど毎回入れ替わっていることを示します。
想起集合は、一般に上位3件程度を指します。その範囲で測った値が以下です。
[表5:
https://prtimes.jp/data/corp/54369/table/279_5_21f8b15aef80409cd45dae485fbc0e56.jpg?v=202608241015 ]
※Opus 4.8 での値。
ビールは1.000。100回の試行を通じて、上位3件に現れた銘柄はアサヒスーパードライ、キリン一番搾り、サッポロ生ビール黒ラベルの3つだけで、それ以外は一度も入っていません。順位も固定です。
上位10件まで広げると、値は以下になります。
[表6:
https://prtimes.jp/data/corp/54369/table/279_6_44d16155cb6c2436ff4eb86745f6390a.jpg?v=202608241015 ]
ビールは10件でも0.85前後を保ちます。映画は0.26～0.32で、7枠以上が毎回入れ替わりました。
この値は、今回の4条件では、次の世代で実際に共通した枠数と近い値を示しました。
[表7:
https://prtimes.jp/data/corp/54369/table/279_7_e13a1ead4b61d9135044e78d14ea5da7.jpg?v=202608241015 ]
今回の範囲では、次のモデルを待たなくても、いま手元にある1世代の回答から、その想起集合が強固なのか不安定なのかを測定できる可能性が示されました。
ビールでは上位7銘柄が、銘柄も順位も両世代でまったく同一でした。質問文を変えても順序は変わりません。動いていたのは8位以下の枠だけです。
ビール／質問文A「ビールのおすすめを10件、おすすめ順に挙げてください」
[表8:
https://prtimes.jp/data/corp/54369/table/279_8_c26c2e8c78d8a9344fdeed321f35d9e6.jpg?v=202608241015 ]
ビール／質問文B「おすすめのビールは？」
[表9:
https://prtimes.jp/data/corp/54369/table/279_9_d16323ad2a87587313aa8d64c95009d0.jpg?v=202608241015 ]
質問文を変えても、上位6銘柄は銘柄・順位ともに同一です。100回の試行で出現率1.00、つまり一度も外れていません。
一方、映画ではほぼ総入れ替えが起きていました。
公開中の映画／質問文A「公開中の映画のおすすめを10件、おすすめ順に挙げてください」
[表10:
https://prtimes.jp/data/corp/54369/table/279_10_87180f90f9b4bb12cad3175984609d68.jpg?v=202608241015 ]
公開中の映画／質問文B「おすすめの公開中の映画は？」
[表11:
https://prtimes.jp/data/corp/54369/table/279_11_f7ba1ac166e063dce17dce993e0948f5.jpg?v=202608241015 ]
上位10件のうち両世代で共通していたのは、質問文Aで0件、質問文Bで2件でした。試行間重複率が0.26～0.32だったことと整合します。
注目すべきは、挙がった作品の公開時期です。
[表12:
https://prtimes.jp/data/corp/54369/table/279_12_b3bfbdebd46da391f0ac47b1191d8e33.jpg?v=202608241015 ]
※質問文Aの上位10件。
どちらのモデルも、自身が把握している範囲のなかで比較的新しい作品を挙げており、知名度の高い名作を並べているわけではありません。Opus 5 では上位10件のうち8件が2025年5月～9月公開の作品で、5か月幅に収まっています。
なお、調査を実施した2026年8月時点では、どちらの世代が挙げた作品も上映を終えています。API経由の呼び出しではモデルに現在日付が渡されないため、「公開中」という条件は、モデルが自身の知識の範囲内で解釈したものと考えられます。
これはカテゴリの違いというより、今回観測した想起集合の強度の違いとして捉えています。 想起集合は問いごとに立ち上がるもので、「ビール」の想起集合と「公開中の映画」の想起集合は別のものです。同じ映画カテゴリでも、質問文を変えれば立ち上がる想起集合が変わり、試行間重複率も動きます。カテゴリという属性で決まっているわけではありません。
強固な想起集合では、上位に入っている銘柄の出現率も1.00に張り付き、不安定な想起集合では、最上位でも1.00に届かず、順位が試行ごとに揺れます。
2. 変化が起きた側では、報道に「山場」を持つ対象が上位に現れた
不安定な想起集合だった映画で、Opus 5 の上位に現れた作品は、いずれも調査期間中に報道の山場を持っていました。山場のない作品が新たに上位へ現れた例は、今回の範囲では確認できませんでした。
上位に現れた作品（代表3件）
[表13:
https://prtimes.jp/data/corp/54369/table/279_13_f25a80dfe4f670f41533c6221e560b37.jpg?v=202608241015 ]
上位から外れた作品（代表2件）
[表14:
https://prtimes.jp/data/corp/54369/table/279_14_e83331ee808dcb985f36b624166392b3.jpg?v=202608241015 ]
※質問文A・Bの平均値。
Opus 4.8 の時点では、上位に現れた3作品はいずれも0.11～0.12という同じ水準に並んでいました。差が開いたのは Opus 5 の段階です。
[画像2:
https://prcdn.freetls.fastly.net/release_image/54369/279/54369-279-49e3153e8530f88bd30d80485ea1c137-1437x500.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
国宝
[画像3:
https://prcdn.freetls.fastly.net/release_image/54369/279/54369-279-98530cf03167871381a075e4f59528ba-1437x500.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
オッペンハイマー
[画像4:
https://prcdn.freetls.fastly.net/release_image/54369/279/54369-279-9148c62d9a630e1fdbff545c0ef78618-1437x500.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
君たちはどう生きるか
3. 報道量に比例して想起されるわけではない
今回もっとも注目される点です。
上位に現れた3作品の報道量には、10倍以上の開きがあります。それでも出現率はほぼ同じ水準に収まりました。
[表15:
https://prtimes.jp/data/corp/54369/table/279_15_fb8bb22c4c53c3fabfa2952b5090837e.jpg?v=202608241015 ]
さらに、リロ＆スティッチは1,400件と、ジュラシック・ワールドより多く報じられています。それでも出現率は0.19にとどまりました。報道量の順序と、結果の順序が一致していません。
今回の6作品では、報道が一時期に集中していたかどうかと出現率の間にも対応が見られました。 ピーク月に全体の何%が集中したかで並べると、以下のようになります。
[表16:
https://prtimes.jp/data/corp/54369/table/279_16_d1648f64793de9bd0047760a7b03da02.jpg?v=202608241015 ]
※ピーク集中度は、最も報道の多かった月の記事数が累計に占める割合。
リロ＆スティッチは、国宝と同じ2025年6月6日に公開されています。 公開初月の報道量はリロ＆スティッチが727件、国宝が863件とほぼ同水準でした。分かれたのはその後です。リロ＆スティッチは報道の52%が初月に集中し、翌月は159件に落ちています。国宝は初月が16%にとどまり、報道量が最大となったのは公開から半年後の2025年12月（1,854件）でした。
同じ日に公開され、初月の報道量もほぼ同じ2作品が、0.19と0.83に分かれています。
[画像5:
https://prcdn.freetls.fastly.net/release_image/54369/279/54369-279-b73d7b9a1ea13baf9bf557fda3b9acd9-1437x500.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
ジュラシック・ワールド
[画像6:
https://prcdn.freetls.fastly.net/release_image/54369/279/54369-279-bb463732b995f96d46f8550fba19b541-1437x500.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
リロ＆スティッチ
本調査で言えないこと
本調査は、観測された対応関係を報告するものであり、因果関係を主張するものではありません。以下は本調査の範囲外です。
各ベンダーがどのような学習方法を採用しているか、 モデルに反映されるために必要な報道量の水準（対象や条件によって変動するため、特定の数値は示せません） 報道量以外の要因（作品自体の話題性、海外での言及、報道以外の情報源など）の寄与
また、今回の対象は2カテゴリ・限られた件数であり、一般化には追加の調査が必要です。
今後について
当社は、対象カテゴリと件数を拡大し、報道量の推移とAIの回答内容の対応について検証を継続します。あわせて、「ディギディギ」と「Qlipper」を組み合わせ、モデルのバージョン間で回答がどう変化するかを継続的に観測する機能の整備を進めます。
会社概要
[表17:
https://prtimes.jp/data/corp/54369/table/279_17_9f2cbb202f1575554be9a45358ac2d09.jpg?v=202608241015 ]
[画像7:
https://prcdn.freetls.fastly.net/release_image/54369/279/54369-279-8782641be54cedef78f3a9dc2b6c72c9-1728x288.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
本件に関するお問い合わせ
TEL：03-6453-6886 Email：qlipper@todo-o-nada.com
プレスリリース提供：PR TIMES
記事提供：PRTimes
