APTO、LLM Fine Tuning 用の高精度 Reasoning Data を無料公開。
APTO Inc.
日本語による思考能力の向上、および効率的な推論が可能になるデータセットを提供。企業・組織のAI活用を今まで以上に推進。
[画像1:
https://prcdn.freetls.fastly.net/release_image/53927/116/53927-116-a2b68349bcd36d97683c13ef5d7d2aed-3597x1929.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
この度当社は、OpenAI 社の gpt-o1 や Deepseek 社の Deepseek R1などで扱われた reasoning モ
デルに関して、ファインチューニングのためのデータセットを無料公開いたします。当該データセットを活用することで、日本語による思考能力が向上し、冗長な推論も抑えられる効果が見られ、トークン数や利用メモリに限りある状態でも高速に推論できるようになりました。
お問い合わせはこちらから
データ内容
各データは、推論を必要とする質問と、その回答を含み、思考過程が <think> XML タグ内に記述されています。本データセットは当社技術により開発した合成データから、問題がないか人間によってチェックされた高品質なデータであり、Qwen3 モデル等で検証した結果、このデータセットで学習を行うことで、日本語による思考能力が向上し、より効率的な推論が可能になることが確認されました。また、Japanese MT-Bench でのテストにおいても、特に reasoning（推論）、math（数学）、coding（コーディング）などのカテゴリで性能向上が見られました。
[画像2:
https://prcdn.freetls.fastly.net/release_image/53927/116/53927-116-39a6daa4da767e9eed6a2f58793e3f59-1968x634.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
無料公開データセット内の JSON 形式一例
タグ情報に関して
質問・回答の一連の会話内容に対して、どのような題材を取り扱っているのか、会話内容ジャンルのタグ情報を与えております。ラベルに関しましては以下のものを用いております。
[画像3:
https://prcdn.freetls.fastly.net/release_image/53927/116/53927-116-3a1d795c2db66c24f7c2a3d2485793a4-1918x684.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
データの性能検証結果
Qwen3 モデルではタスクによっては <think> タグ内の思考過程が非常に長くなる傾向があり、マルチターンの会話だと顕著でした。実際に Japanese MT-Bench における math や reasoning のタスクでは、非常に長い試行錯誤的な思考を行い、結論に辿り着けないケースも多々ありました。トークン数が限られた環境での検証を行った場合には、reasoning を行わない方が高いスコアが現れるケースもありましたが、当社の Reasoning データセットにより Fine Tuning を行うことで、日本語による思考が行える上、冗長な推論も抑えられる効果が見られ、トークン数や利用メモリに限りある状態でも高速に推論できるようになりました。以下はトークンの最大出力数を制限した際の Japanese MT-Bench での検証結果となります。*1
お問い合わせはこちらから
Baseline (Qwen3) は、通常の Qwen3 に対して reasoning を行うオプションを付与した場合のスコアを、+FineTuning は同梱のデータセット100件に同条件で作成した合成データを加えて Fine Tuning を行ったスコアを示しております。Japanese MT-Bench では Category に示されるような8種類のカテゴリに関する質問が10問用意されており、それに対する回答を OpenAI 社の gpt-4.1モデルのAPIを用いて10点満点で自動評価したスコアの平均を記載しております。*2*3
ただし、Total に関しましては、8種類のカテゴリの回答スコア全てを平均したものとなります。上記の通り、reasoning に関与するようなカテゴリも含めて全ての水準で向上しており、限られたトークン
数でも適切な回答を行えるよう、日本語の回答性能を引き出せるようになったと解釈できます。
[画像4:
https://prcdn.freetls.fastly.net/release_image/53927/116/53927-116-033810566e35db3d567b91fe5fea15e4-2022x798.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
*1 いずれも4bit 量子化を用いており、最大4096 トークンまでの生成を行った結果となります。*2 また、gpt-4.1 による評価時のプロンプトでは、評価理由も考えさせるCoT 処理を追加して検証しております。*3 なお、生成にはばらつきが生じるため、このスコアは同じベンチマークテストを更に4回繰り返した際の平均となっております。
当該データセットは以下 Hugging Faceでも公開しております。
https://huggingface.co/datasets/APTOinc/japanese-reasoning-dataset-sample
既にお取引があるお客様につきましては、メールマガジンより近日配信予定でございます。
AI開発の加速、そして精度のさらなる向上にお役立ていただければ幸いです。是非ご活用ください。
株式会社APTOについて
あらゆるAI開発において、最も精度に影響を与える「データ」にフォーカスしたAI開発支援サービスを提供しております。クラウドワーカーを活用したデータ収集・アノテーションプラットフォーム「harBest」や、初期段階でボトルネックになるデータの準備を高速化する「harBest Dataset」、専門家の知見を活用してデータの精度を上げる「harBest Expert」など、データが課題で進まないAI開発を支援することで多くの国内外のエンタープライズ様に評価をいただいております。
▼地球最速のデータ収集・作成プラットフォーム「harBest」
https://harbest.io/
▼データ収集・作成ポイ活アプリ「harBest」
URL：
https://harbest.site
会社名 ：株式会社APTO
所在地 ：東京都渋谷区神南1-5-14三船ビル4F 403号室
代表者 ：代表取締役 高品 良
URL ：
https://apto.co.jp/
[動画:
https://www.youtube.com/watch?v=uFm3eoO4G0E ]
AIデータ、モデル開発、GPUリソース、様々なご要望にお応えします。
AI開発に課題感をお持ちでしたらお気軽にご相談ください。
プレスリリース提供：PR TIMES
記事提供：PRTimes
