主要概念

Face Analyticsのユースケースと実装について学ぶ前に、その基本的な概念を詳しく理解することが重要です。

Facial Landmark Localization

顔のランドマーキングとは、顔上の特定のキーポイント特徴を検出してローカライズするプロセスです。目の角、眉弧の端点、唇の端点と弧、鼻先、頬の輪郭の位置、鼻孔などのキーポイントは、年齢検出、性別検出、感情認識の処理時に一般的に考慮されます。

Zia Face Analyticsはまず、画像内の顔の位置の一般的な座標を提供します。さらに、ローカライズされたランドマークの座標も3つのランドマークローカリゼーションモードで提供されます：

• Basic: これは0ポイントのランドマーク検出器で、顔の座標 [x1, y1, x2, y2] のみを検出します。
  
  • x1, y1: 顔/顔の属性/オブジェクトの左上隅のポイント
  • x2, y2: 顔/顔の属性/オブジェクトの右下隅のポイント
• Moderate: これは5ポイントのランドマーク検出器で、以下を検出します：
  
  • 目: 両目の中心
  • 鼻: 鼻先
  • 唇: 両唇の中心
• Advanced: これは68ポイントのランドマーク検出器で、以下を検出します：
  
  • 顎のライン: 顔の境界
  • 眉: 左右の眉
  • 目: 左右の目
  • 鼻筋
  • 鼻孔ライン
  • 上唇: 上端と下端
  • 下唇: 上端と下端

これらの詳細は、画像内で検出された各顔に対して個別にレスポンスで提供されます。Face Analyticsはまた、レスポンス内で判定された顔座標のconfidence scoreを提供します。

Facial Emotion Detection

顔の感情検出は、表情に基づいて人間の感情を検出するプロセスです。顔のランドマーキングは、顔の感情検出において重要な役割を果たします。目の角、口の角、眉などのキーポイントは、顎や頬の輪郭などの二次的なランドマークと比較して、表情の検出と感情クラスへの分類において主要な役割を果たすと考えられています。顔の感情検出技術は、視覚的な画像を分析するConvolutional Neural Network（CNN）などのディープラーニング手法を使用して設計されています。

Ziaは検出された顔に対して詳細な分析を実行し、顔上の笑顔の有無を判定します。レスポンスには、smilingとnot_smilingの各側面に対する1を満点としたconfidence scoreが含まれます。最も高い値の側面に基づいて、Face Analyticsは笑顔の有無のpredictionを行います。

Age Detection

Face Analyticsは、画像内で検出された顔の年齢範囲を予測します。年齢検出技術は、machine learning手法とAIアルゴリズムの同様のアプローチを実装して、顔上の一連の関心点を識別し、特定の年齢グループに適用可能な特定の兆候についてローカライズされたランドマークを分析します。

Face Analyticsは、以下の年齢範囲のいずれかとして顔の年齢を検出します：0-2、3-9、10-19、20-29、30-39、40-49、50-59、60-69、70歳以上。

レスポンスには、各年齢範囲の1を満点としたconfidence scoreが含まれます。最も高いconfidence scoreの年齢範囲に基づいて、Face Analyticsは最終的なpredictionを行います。

Gender Detection

Face Analyticsは、ディープラーニングアルゴリズムを実装して各性別に関連する主要な特徴を識別することで、顔の性別を検出します。顔の特定のローカライズされた関心点は、人間の性別を判定する上で重要な役割を果たします。Ziaは分析結果を膨大なデータセットの配列と比較して、性別のpredictionを導き出します。

他の属性と同様に、Face Analyticsにはmaleとfemaleの1を満点としたconfidence scoreが含まれます。最も高いconfidence scoreの識別された性別に基づいて、Face Analyticsは最終的なpredictionを行います。

入力形式

Zia Face Analyticsは、画像ファイルを分析して顔検出と属性認識を実行します。Face Analyticsは以下の入力ファイル形式をサポートしています：

• .jpg/.jpeg
• .png

エンドユーザーのデバイスのカメラを使用して写真を撮影し、画像を入力ファイルとして処理するようにCatalystアプリケーションをコーディングできます。また、結果を生成するために、ユーザーがデバイスのメモリから画像ファイルをCatalystアプリケーションにアップロードするスペースを提供することもできます。

APIリクエストを使用して提供される入力には、入力画像ファイル、ランドマークローカリゼーションモードの値、およびemotion、age、genderの検出を実行するかどうかを指定するブール値が含まれます。モードまたは検出する必要のある属性を指定しない場合、すべての属性が検出され、デフォルトでadvanced modeが実装されます。

リクエスト形式はAPIドキュメントで確認できます。

より良い結果を得るために、入力を提供する際にユーザーは以下のガイドラインに従う必要があります：

• ぼやけた画像や破損した画像の提供は避けてください。
• 画像内の顔が鮮明で、見やすく、はっきりしていることを確認してください。
• 部分的な顔、シルエット、横顔、または認識できない角度の顔が含まれる画像はアップロードしないでください。より良いpredictionのために、顔全体が画像内で見える必要があります。Face Analyticsは、一定レベルを超えて傾いたり向きが変わったりした顔を検出できません。
• 画像内の顔の上にテキストコンテンツや透かしがないことを確認してください。
• ファイルサイズは10 MBを超えないようにしてください。
  

レスポンス形式

Zia Face Analyticsは以下の方法でレスポンスを返します：

• コンソールの場合: コンソールで顔が含まれるサンプル画像をアップロードすると、デコードされたデータが2つのレスポンス形式で返されます：
  

  • テキスト形式: テキストレスポンスには、各顔の存在、笑顔、検出された性別、検出された年齢範囲と、それらのconfidence scoreがパーセンテージ値として含まれます。
  • JSON形式: JSON responseには、顔の一般的な座標、ローカライズされたランドマークの座標、検出された笑顔・年齢範囲・性別の各側面のconfidence score、および各属性のpredictionが含まれます。0から1のconfidence scoreは、以下のようにパーセンテージ値に換算できます：
    

  パーセンテージでのconfidence score	0から1の値でのconfidence score
  0-9	0.0
  3-9	0.0
  10-19	0.0
  20-29	0.0
  30-39	0.0
  40-49	0.01
  50-59	0.12
  60-69	0.23
  <70	0.63

• SDKを使用する場合: APIリクエストを使用して画像ファイルを送信すると、上記で指定した形式で結果を含むJSON responseのみを受け取ります。

  JSON responseの形式はAPIドキュメントで確認できます。