クラウドストレージ

外部データコネクター

1. Amazon AWS S3

   Amazon Simple Storage Service（Amazon S3）は、Amazon Web Services上でデータやアプリケーションのオンラインバックアップおよびアーカイブ用に設計された、スケーラブルで高速なWebベースのクラウドストレージサービスです。

   AWS S3データコネクターは、Amazon S3バケットに保存されたオブジェクトにアクセスするために使用できます。S3のオブジェクトはパブリックおよびプライベートのいずれも可能です。QuickMLは、パブリックオブジェクトの取得に認証キーを必要としません。バケットにアクセス制限がある場合は、QuickMLにaccessKeyとsecretKeyが必要です。

   データインポートに必要な情報：

   • Bucket name : データが保存されているバケット。
   • Object name : インポートするファイルの名前。
   • Region : バケットが保存されているデータセンターのリージョン。
   • Access Key : AWS IAMユーザーのアクセスキー。
   • Secret Key : AWS IAMユーザーのシークレットキー。
   • File Type : インポートするファイルの形式。

   S3からデータをインポートするには：

   このリンクの手順に従ってAWS IAMユーザーを作成する必要があります。新しいIAMユーザーを作成する際は、S3サービスへのアクセスに必要な権限を付与してください。IAMユーザー作成プロセスの最後に、「Access Key」と「Secret Key」が取得できます。「Secret Key」は再発行できないため、安全な場所に保管してください。

   S3オブジェクトへのアクセス権限を持つIAMユーザーがすでにいる場合は、AWSコンソールからそのユーザーのアクセスキーとシークレットキーを取得できます。

2. Microsoft Azure Object Storage

   Microsoft Azureには、SQLデータベース、NoSQLデータベース、ファイルストレージソリューションなど、複数のストレージソリューションがあります。 ファイルストレージソリューションは、主にストリーミングを使用して非構造化データ（テキスト、CSVなど）を保存および取得するために使用されます。これには、Blob Storage、Queue Storage、Disk Storageが含まれます。

   Blob Storage：

   Blob Storageは、データをBlob（小さな単位）で扱うクラウド向けオブジェクトストレージソリューションで、要件に応じてBlock Blob、Page Blob、Append Blobの3つの方法でデータを処理します。その中でも、Block Blobはオブジェクトの保存に最も一般的に使用される方法です。

   データインポートに必要な情報：

   • Blob Name : インポートするAzureストレージアカウントコンテナ内のファイル名。
   • Container Name : ファイルが保存されているコンテナ名。
   • Connection String : Microsoft Azureのアカウントとユーザー情報を検証するための認証文字列。
   • File Type : インポートするファイルの種類。

   Azure PortalからConnection Stringを取得するには：

   1. Azure Portalにログインします。
   2. データのインポート元のストレージアカウントを検索して選択します。
   3. 提供されている接続文字列の値（key 1またはkey 2）のアクセスキーを検索します。

3. Google Cloud Storage

   Google Cloud Storageは、ファイルのアーカイブとオンライン保存のための安全で高性能なオブジェクトストレージソリューションです。提供されるコネクターを使用して、任意の形式で保存されたデータをQuickMLにインポートできます。

   データインポートに必要な情報：

   • Blob Name : インポートするGoogleストレージ内のファイル名
   • Bucket Name : データが保存されているバケット。
   • File Type : インポートするファイルの種類。
   • Authentication json file : オブジェクトへのアクセスに必要な認証情報を含むJSONファイル

   ストレージサーバーからデータをリクエストするには、Googleサービスアカウントの情報が必要です。認証情報の取得手順は以下の通りです。

   認証サービスJSONファイルの取得手順：

   1. Google Cloud PortalのIAM & Adminセクションで、Service Accountsに移動します。
   2. 必要に応じてサービスアカウントを作成し、必要なプロジェクトへのアクセス権を付与します。
   3. Service AccountでActionsタブに移動し、Create Keyを選択します。
   4. キーをJSONファイルとして保存すると、以下のAPIパラメータのfile引数の値として使用できます。

4. OneDrive

   MicrosoftのOneDriveオブジェクトストレージソリューションも、QuickMLのデータコネクターとして利用できます。ユーザーは、さまざまな形式のファイルを安全に保存および管理できます。この統合により、OneDriveのデータを機械学習ワークフローに簡単に組み込むことができ、分析の効率性と汎用性が向上します。提供されるコネクターを使用して、任意の形式で保存されたデータをQuickMLにインポートできます。

   データインポートに必要な情報：

   • Client Id: Azure Active Directoryにアプリケーションを登録する際にMicrosoftから割り当てられる一意の識別子です。
   • Tenant Id: 組織のAzure Active Directoryテナントの一意の識別子です。
   • Client Secret: 登録されたアプリケーションとサービス間の安全な通信を確保するためのシークレットキーです。
   • User Email: 認証とアクセス権限に使用するOneDriveアカウントに関連付けられたメールアドレスです。
   • File Name: OneDriveからインポートするファイルの名前です。
   • Source File Type: インポートするファイルの形式です。