主要な概念

CatalystコンソールからのText Analyticsのテストについて学ぶ前に、Text Analyticsの機能について詳しく説明します。

Sentiment Analysis

Sentiment Analysisは、非構造化テキストのコンテキストに基づくオピニオンマイニングを実行し、その中の根底にあるセンチメントに関する主観的な情報を抽出する一般的なディープラーニングツールです。一般的なテキスト分析、自然言語処理、計算言語学、その他の機械学習技術の応用を含みます。

テキストは一般的にそのコンポーネント構造に分解され、各エンティティに重み付けされたセンチメントスコアが割り当てられます。これにより、AIは各エンティティで認識されたセンチメントの累積分析に基づいて、テキストの全体的なセンチメントを判断できます。

Zia Sentiment Analysisモデルは、テキスト内のセンチメントの極性を分析し、positive、negative、neutralの3つのいずれかに分類します。

Ziaは、テキスト内の各文を1つずつ分析した後にこれらのセンチメントを決定し、各文のセンチメントに基づいて、全体的なテキストがpositive、negative、またはneutralであるかを予測します。

レスポンス形式

Zia Sentiment Analysisは、各文の分析と全体的なテキストの分析をレスポンスとして返します。レスポンスには、分析の正確性を示すために、各文と全体的なテキストのconfidence scoreも返されます。

レスポンスとconfidence scoreの形式は、レスポンスタイプによって異なります。

• ビジュアルレスポンス: コンソールでText Analyticsをテストした際に生成されるビジュアルレスポンスは、テキスト内の各文のセンチメントとテキストの全体的なセンチメントを包括的かつ明確な方法で表示します。各分析のconfidence scoreは、ビジュアルレスポンスでパーセンテージ値として提示されます。
• JSON response: APIとコンソールでのテストの両方で、Text AnalyticsのJSON responseを取得できます。コンソールは両方のタイプのレスポンスを生成します。JSON responseも各文の個別のセンチメントと全体的なセンチメントを提供します。ただし、JSON responseのconfidence scoreは0から1の範囲で提示されます。

完全なサンプルJSON responseはAPIドキュメントから確認できます。

ユースケース

Sentiment Analysisは、顧客体験の理解に大きな価値を置くビジネスやブランドにとって非常に重要です。Sentiment Analysisは、以下の目的で実装できます。

• ソーシャルメディアプラットフォームやアンケート調査で顧客が表明したセンチメントの測定と監視
• 顧客のフィードバックやレビューの分析の自動化と、関連する手作業の軽減
• ネガティブなセンチメントの自動監視による、重要な状況のリアルタイムでの特定と対処
• 迅速かつ徹底的なカスタマーサポートの提供と戦略的なアクションの実行による、ブランドの評判と誠実性の維持
• 主観的な問題に関する意思決定のための、一元化された、組織化された、偏りのないシステムの実装
• データアナリストによる詳細な市場調査の実施とアクション可能なデータの提供に有用
• 分析されたセンチメントと認識に基づいた、十分な情報に基づくビジネス上の意思決定とカスタマイズされたサービスの提供

Named Entity Recognition

Named Entity Recognitionは、非構造化テキスト内の名前付きエンティティを識別し、事前に決定されたカテゴリに分類する情報抽出のサブセットです。これらのカテゴリは、人物、場所、組織などの実世界のオブジェクトを表します。カテゴリと共通の特徴を持つエンティティがそのカテゴリにグループ化されます。

NERは、自然言語処理と人工知能に関連しています。精度の高いエンティティの検出と分類のために、大量のtraining dataを使用した厳密な機械学習を行います。Zia NERモデルは効率的で信頼性が高く、高い精度でエンティティを抽出・グループ化できます。

Zia NERは、以下の事前定義されたカテゴリに適合するエンティティを認識・ラベル付けできます。

つまり、テキスト内の単語を組織名や人名として判断し、適切なカテゴリに追加できます。

レスポンス形式

NERは、認識されたエンティティとそれぞれが属するカテゴリを、分類の正確性を判定する各分類のconfidence scoreとともに返します。

レスポンスとconfidence scoreの形式は、レスポンスタイプによって異なります。

• ビジュアルレスポンス: コンソールでText Analyticsをテストした際に生成されるビジュアルレスポンスは、認識されたエンティティとそのカテゴリの一覧を表示します。各分類のconfidence scoreは、ビジュアルレスポンスでパーセンテージ値として提示されます。
• JSON response: APIとコンソールでのテストの両方で、Text AnalyticsのJSON responseを取得できます。コンソールは両方のタイプのレスポンスを生成します。JSON responseもエンティティとそのカテゴリを、テキスト内のエンティティの位置に関する追加情報とともに提供します。confidence scoreはここでもパーセンテージ値として提示されます。

完全なサンプルJSON responseはAPIドキュメントから確認できます。

ユースケース

NERは、大規模なデータセット内の主要な要素を特定し、関連する情報や類似の情報をグループ化してその主題を伝えるのに非常に有用です。NERは、以下のシナリオで実装できます。

• 効率的で迅速なリアルタイムの複数コンテンツカテゴリの管理を必要とするコンテンツ分類およびクラスタリングアプリケーション
• 履歴書、マニュアル、ニュース、科学論文などのコンテンツの情報を要約し、重要な詳細をグループ化
• 部門に基づいて苦情やリクエストを分類し、優先度の高い単語をフィルタリングし、繰り返し発生する問題を特定するカスタマーサポートアプリケーション
• 大規模データの抽出と整理、または共通のテーマやトレンドの特定を必要とするデータサイエンスおよび分析セクターのアプリケーション
• エンティティ分類に関連するタグを使用した検索およびレコメンデーションエンジンの最適化と、ユーザーエクスペリエンスの向上
• 非構造化データの定量的で意味のある情報への変換

Keyword Extraction

Keyword Extractionは、テキストから重要で関連性のある用語を抽出するテキスト分析技術であり、テキスト全体の要約を提供します。テキストマイニング、情報検索、自然言語処理の原理にも基づいて動作します。

Keyword Extractionは、人間の言語の分析やリッチなデータセットを使用したトレーニングによる精度の向上など、他のText Analytics機能と類似しています。単語の頻度や共起などの単純な統計的アプローチから高度な機械学習アプローチまでを使用します。

Zia Keyword Extractionは、抽出された用語をKeywordsとKeyphrasesの2つのカテゴリにグループ化します。これらのハイライトは、テキストの簡潔な要約を提供し、そのトピックに関する貴重なインサイトを提供します。

Zia Keyword Extractionは、コンソールでのテスト時とAPIを通じて、同じ形式でレスポンスを返します。ビジュアルレスポンスとJSON responseの両方に、抽出された用語を含むKeywordsの配列とKeyphrasesの配列が含まれます。この機能ではconfidence scoreは返されません。

ユースケース

Keyword Extractionは、長いテキストコンテンツをすばやく読み通して、その中から重要な情報とアクションアイテムのみを取得したい場合に非常に有用な機能です。テキストの主題と要旨を一目で特定し、貴重な時間を節約できます。

Keyword Extractionは、以下の目的で使用できます。

• 検索結果として読み物の主要なハイライトを返すオンラインライブラリでの実装
• オンラインフォーラム、顧客のフィードバック、ニュースレポートなどの大規模なデータセットでのデータ検索、インデックス作成、整理の自動化
• 抽出されたマテリアルから特定のKeywordsとKeyphrasesの存在を照会し、それに応じて必要なアクションを実行
• 抽出されたキーターム に基づいてリアルタイム分析を実行し、自動化されたレスポンスを生成するアプリケーションでの実装
• 大量のソースマテリアルからの迅速で詳細なインサイトの取得と、手動の調査および処理の手間と時間の節約
• Keyword Extractionが事前定義されたパラメータに基づいて機能するため、手動の情報検索における不整合の削減