博報堂ＤＹメディアパートナーズの研究開発プロジェクトである「AaaS Tech Lab」と、住生活に特化したソーシャルプラットフォーム「RoomClip」を運営するルームクリップは、5月14日、大規模言語モデルを活用することで画像中の任意の物体を検出するソリューションの構築を発表した。
同ソリューションでは、Metaが開発・公開しているSegment Anything ModelおよびLLMを活用。LLMによるプロンプトを用いた物体検出フローを構築することで自然言語によるチューニングが行え、高精度に画像中の物体検出が可能になった。
また、その他の特徴としては、限られた計算リソースでも高速に動作する点や、部屋画像内から「キッチン用品」に絞った上で「コーヒーメーカー」の抽出を行うなどのカテゴリーの意味合いに応じて段階的な物体検出が可能になるといった点が挙げられる。
両社は、同ソリューションを活用した新機能をRoomClipにおいて2024年4月から段階的に開始。同機能では、ユーザーが投稿した写真を自動で画像解析してアイテムを特定し、取り扱いのあるECサイトのURLリンクをカード形式で表示する。
なお、同取り組みで得られた知見は、TV番組やCM、各種コンテンツ内の商品検出ソリューションへの適用に加え、博報堂ＤＹグループが推進するAaaSとして提供するTV広告やデジタル広告における各ソリューション群との連携による提供なども行う予定だ。
