by 長谷川 正太郎
ノルウェーのOpera Softwareは6月7日（現地時間）、ローカル生成AIのベンチマークツール「devicetest.ai」を無償公開した。現在、アクセスするにはWebブラウザー「Opera」の開発版「Opera Developer」が必要。
「devicetest.ai」は、デバイスがローカルで生成AIを実行する能力を備えているかをベンチマークテストできるツール。「Opera」が進めるローカルLLM（大規模言語モデル）の統合が、実際にデバイスで利用する準備ができているかをテストできる。
以下に挙げる3種類のローカルLLMを使ったテストのプロファイルが用意されており、テストするデバイスの性能に応じて選択可能。
- AI Ready:2B(2GB)
- AI Standard: 7B (5GB)
- AI Enthusiasts: 13B (7.5GB)
テストは、AIが行う複数の作業を想定して行われ、複数回実行した平均値が評価となる。大まかなテスト結果は「READY FOR AI」（青）、「AI FUNCTIONAL」（黄）、「NOT AI READY」（赤）に分類される。もちろん以下のような細かなスコアも確認可能だ。
- Tokens Per Second（TPS） ：1秒間に処理できるトークン（テキストを単語、または単語の一部に分解したもの）の数
- First Token Latency（FTL） ：プロンプトを読み込んでからLLMが最初の単語を生成するまでの時間
- Model Load Time(MLT） ：LLMをシステムのメモリに読み込む時間
TPSとFTLは作業ごとに表示できるようになっており、デバイスがよりうまく行える作業を確認できる。テスト結果はWebページ上のほか、CSVファイルとしてダウンロードすることも可能だ。
