人は、肌の色・質感などのわずかな違いを瞬時に読み取り、顔や肌の印象を感じ取る。花王株式会社は、肌を美しく魅せるメイクアップ化粧品を提供するため、これまで見た目の肌印象を評価するさまざまな手法を開発し、化粧品開発に応用してきた。しかし、多様で繊細な肌印象の違いを人の目と同じレベルで評価することは難しく、また特殊な装置を必要とするため測定が容易ではないという課題があった。花王株式会社メイクアップ研究所は、AI技術のひとつであるディープラーニングを用いて、肌の見た目の印象を客観的・定量的に評価し、さらに画像化する「肌評価AI」を開発した。画像解析に強いとされるディープラーニングは、顔画像を入力すると年齢などを予測するAIを構築できることが知られている。花王は、ディープラーニングのモデルに、年齢ではなく「素肌らしさ」など肌のさまざまな見た目印象を評価するように学習させることで同AIを構築できるのではないかと考えた。しかし、このAIには顔画像のどこを見て判断しているかがわからないという欠点がある。AIは、入力された画像全体から線、点、角度、周波数などさまざまな情報を抽出し、複雑な計算を繰り返して最終的な評価結果を導き出すが、花王は、そのAIの評価が髪、眉、唇など肌以外の情報に影響されている可能性を懸念した。そこで、肌以外の要素を極力排除するため、顔全体ではなくもとの顔画像から小領域を切り出した画像「肌パッチ」を用いる方法を検討した。
一般的なAIと同手法の違い花王は、オックスフォード大学のVisual Geometry Groupが開発した16層の画像認識モデル「VGG16」を、素肌と化粧肌を判別するという目的に合わせて再学習させ、「化粧感評価AI」の構築に取り組んだ。まず、化粧感を評価するのに最適な肌パッチのサイズを検討した。20～70代の日本人女性269名の素肌と化粧肌の顔画像を同一の撮影装置で撮影し、8.9×8.9mmから44.5×44.5mmまでの異なるサイズで切り出してデータセットを構築した。肌パッチサイズごとに、素肌と化粧肌を判別するAIモデルをつくり、それらを学習用画像とは異なる撮影装置・照明条件で撮影した素肌・化粧肌の顔画像に適用し、判別精度を評価した。その結果、17.8mmの肌パッチで学習したモデルの精度が最もよいことが判明した。
サイズが異なる肌パッチ画像の例次に、20～70代の日本人女性512名のベースメイク塗布前後の画像を撮影し、この画像から17.8mm四方の領域を切り出して計43,897枚からなる肌パッチを作成、AIにこの肌パッチデータセット画像を学習させた。その結果、1枚1枚の肌パッチが素肌であるか、化粧肌であるかを92.7%の精度で判別することができた。このAIは、肌パッチ画像からさまざまな肌特徴を解析し、判別の根拠となる素肌／化粧肌らしさを示す数値を、1枚の肌パッチごとに出力する。その肌パッチの結果を統合すると、顔全体の肌の印象を総合評価したり、化粧感の分布を画像化したりすることが可能となる。
化粧感評価AIによる解析結果可視化例花王は、このような複数の肌パッチ評価データを統合した結果は実際の見た目の肌の化粧感と関係すると考え、学習に用いた512名中269名の顔画像について、AIによる結果と訓練された5名の判定者による化粧感の評定を比較した。その結果、高い精度で相関を確認できた（R=0.72）ことから、この手法で化粧肌らしさといった印象を評価可能な「化粧感評価AI」が構築できたという。今回構築した手法は、肌パッチデータセットや学習方法を調整することで、化粧感評価以外にもさまざまな応用に活用できる。花王では、肌年齢の推定、化粧くずれの程度などの評価を行なうAIモデルをこの技術を応用して構築している。たとえば、「化粧くずれ度評価AI」では、化粧くずれが鼻、頬、額など皮脂が出やすい部位から進行すること、化粧持ち効果を狙って設計した化粧下地は明らかに皮脂による化粧くずれを低減させていることなどを容易に画像化することが可能だ。
「化粧くずれ度評価AI」による評価
異なる化粧下地を使用した上に同一のファンデーションを塗布し、直後、4時間後、8時間後、10時間後の化粧状態を撮影。
画像をAIで解析し化粧くずれ度を可視化
