by 石山 裕規
株式会社ELYZAは6月26日、同社が提供する大規模言語モデル（LLM）「ELYZA LLM for JP」シリーズの最新モデル「Llama-3-ELYZA-JP-70B」および「Llama-3-ELYZA-JP-8B」を開発し、性能を公開した。「Llama-3-ELYZA-JP-70B」はチャット形式のデモサイトを公開、「Llama-3-ELYZA-JP-8B」はモデル自体を「Hugging Face」上に一般公開する（こちらはAcceptable Use Policyに従う限り、研究および商業目的での利用が可能）。
「ELYZA LLM for JP」は、ELYZAが提供する大規模言語モデル群の総称。グローバルモデル以外の新たな選択肢として、主にセキュリティやカスタマイズ性を重視する企業、自社サービスや事業にLLMを組み込みたい企業に向けて、安全なAPIサービスや共同開発プロジェクトなど、さまざまな形態で順次提供を行なっている。
今後の展望について、同社は「Llama」シリーズでの取り組みに限らず、海外のオープンなモデルの日本語化や、独自のLLMの開発に継続して投資をしていくとしている。これらのモデルの公開・提供を通じて、国内におけるLLMの社会実装の推進、ならびにLLMの研究開発の発展を支援していくとのこと。
「GPT-4」超えを達成した「Llama-3-ELYZA-JP-70B」
「Llama-3-ELYZA-JP-70B」は、米Metaの「Llama-3-70B」をベースに追加の学習（日本語追加事前学習・指示学習）を実施して開発されたモデル。
元の「Llama-3-70B」より日本語性能が大きく向上しており、日本語の性能を測定するための2つのベンチマーク（ELYZA Tasks 100、Japanese MT-Bench）を用いた自動評価において、国内モデルの中では最高性能の水準を実現し、2024年6月末時点の最新安定版における「GPT-4」や「Claude 3 Sonnet」「Gemini 1.5 Flash」と同等、あるいは上回る性能を達成したとしている。
「Llama-3-ELYZA-JP-70B」は、安全なAPIサービスや共同開発プロジェクトなどを通して、さまざまな形態で、順次企業向けに提供を開始。また、チャット形式のデモサイトが公開されている。
商用利用可能・軽量な「Llama-3-ELYZA-JP-8B」
「Llama-3-ELYZA-JP-8B」は、米Meta社の「Llama-3-8B」をベースに事後学習（日本語追加事前学習・指示学習）を実施して開発されたモデル。
「Llama-3-ELYZA-JP-70B」と同様、元の「Llama-3-8B」より大きく日本語性能が向上しており、80億パラメーターの軽量なモデルでありながら、日本語の性能を測定するための2つのベンチマークを用いた自動評価において、「GPT-3.5 Turbo」や「Claude 3 Haiku」「Gemini 1.0 Pro」に匹敵する性能を達成したという。
「Llama-3-ELYZA-JP-8B」については、モデルを一般公開する。本モデルはLLAMA 3 COMMUNITY LICENSEに準拠し、Acceptable Use Policyに従う限りにおいて、研究および商業目的での利用が可能。
