サイバーエージェント、32,000トークン対応の日本語LLMを一般公開（23.11.2）

（株）サイバーエージェント（東京・渋谷区、藤田晋社長）が、70億パラメータ・32,000トークン対応の日本語LLM（Large Language Model、大規模言語モデル）を公開した。

かねてより同社では日本語LLMの開発に取り組み、5月に国内の自然言語処理技術の発展への寄与を目的として最大68億パラメータの「CyberAgentLM」を一般公開していた。その後もLLMに関する研究開発を続けさまざまなモデルを開発するとともに、同社が提供する「極予測AI」をはじめとするサービスで活用を進めている。「今後もモデルの公開や産学連携などの取り組みを通じて国内における自然言語処理技術の発展に貢献していく」としている。

今回公開のモデルについて

日本語および英語データで事前学習を行なった70億パラメータのベースモデルである「CyberAgentLM2-7B」と、チャット形式でのチューニングを行った「CyberAgentLM2-7B-Chat」の2種類。CyberAgentLM2-7B-Chatは入出力の長さとして32,000トークンに対応しており、日本語の文章として約50,000文字を一度に処理できる。モデルは商用利用可能なApache License 2.0で提供されており、以下のURLから利用可能。

URL：
https://huggingface.co/cyberagent