その他 – とれまがニュース

自社モデルの開発や他社モデルの比較に、客観的なエビデンスを。 生成AI 人手評価サービス『BAO-VAL』を提供開始

• ツイート
• 
• 

株式会社バオバブ

「誰もがその人らしくいることが受け入れられ、人生の選択肢が開かれている社会」を目指し、AI向け高品質学習データ構築サービスを展開する株式会社バオバブ（本社：東京都渋谷区、代表取締役社長：相良美織、以下バオバブ）は、生成AIモデルの出力に対し、客観性と透明性の高い第三者評価（Human Evaluation）を提供する新サービス『BAO-VAL（バオバル）』の提供を開始いたしました。
また、本サービスの提供開始にあわせ、「評価データセット」と「評価ガイドライン」の一部を無料公開いたします。

[画像1: https://prcdn.freetls.fastly.net/release_image/112000/6/112000-6-2fc114a3e51e8ce3102b9131cc87f124-1075x650.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]

■ サービス提供の背景

生成AI開発において、モデルの性能を正しく評価することは、プロジェクトの成否を分ける極めて重要なフェーズです。しかし、自社モデルの検証や他社モデルとの比較を自分たち内部で行う場合、「バイアス」がかかりやすく対外的な説明力（エビデンス）に欠けるという課題がありました。また、外部に評価を委託した場合でも、「どのような基準でそのスコアになったのか」がブラックボックス化し、論文発表やモデル改善のための分析に直結しにくいという悩みが多くのエンジニアや研究者から寄せられていました。

バオバブは、15年以上にわたり培ってきたアノテーション・データ構築のノウハウを活かし、論文・PR・社内報告に確かな根拠となる「客観的なエビデンス」をお届けする評価サービス『BAO-VAL』を提供します。

■ 生成AI評価サービス『BAO-VAL』の3つの特長

- 評価基準の設計と完全開示（再現性の担保） 評価基準をブラックボックス化させません。プロジェクト開始時に厳格な「評価ガイドライン」の策定からクライアントと伴走し、物理的な判断のブレを防ぎます。策定したガイドライン自体を成果物として納品するため、学術論文等における実験の再現性担保が可能です。- 客観的な第三者検証（エビデンスの創出） 開発者バイアスを完全に排除し、商用モデルや競合モデルとのブラインドテスト等を通じ、対外的な説明力を持つ公平な比較検証レポートを提供します。- 「評価根拠（Rationale）」の付与 単なるスコアの一覧ではなく、「なぜその点数になったのか」という評価根拠（Rationale）を言語化して付与します。評価の理由が明確になることで、AIモデルの弱点分析（Error Analysis）と改善のサイクルを強力に加速させます。

■評価データセットと評価ガイドラインを無料配布

『BAO-VAL』の品質と、「論理的制約（Constraints）」に基づく品質管理プロセスを実際にご確認いただけるよう、サンプルデータセットを無料公開いたしました。
【公開内容】
1. 評価データセット COCO画像キャプション生成タスクにおける、最新LLM 4モデルの出力結果に対する人手評価（論理チェックおよびペアワイズ比較）の実データ。
2. 評価ガイドライン 主観的表現の排除や文字数制約など、アノテーター向けに設定した厳格なチェック基準（Corner Casesの判断基準等）を明文化した仕様書の抜粋。



評価セット＆ガイドのダウンロード
　　　　　　（※本データセットは研究目的および非商用利用に限りご提供いたします）

■ 株式会社バオバブについて

「誰もがその人らしくいることが受け入れられ、人生の選択肢が開かれている社会」の実現をミッションに掲げ、2010年に創業。国内外のAI開発に取り組む大企業や研究機関から学習データ作成を受託し、働き方に制約のある人々へ育成と作業委託を行うことで新たな雇用機会を生み出すソーシャルビジネスを展開しています。
[画像2: https://prcdn.freetls.fastly.net/release_image/112000/6/112000-6-5da96c26da4792fe5eb9454580c1ee00-1598x1000.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]


会社名：株式会社バオバブ
代表者：代表取締役社長 相良 美織
設立：2010年7月 事
業内容：AIのための学習データ作成サービス
URL：https://baobab-trees.com/


【本件に関するお問い合わせ先】
株式会社バオバブ 広報担当 Email：pr_saki@baobab-trees.com

プレスリリース提供：PR TIMES

記事提供：PRTimes