Data Storeインポート

Data Storeインポートコマンドの一般的な構文は以下の通りです。

コマンドの実行について説明する前に、このコマンドで利用可能な操作と設定について詳しく見ていきましょう。

操作

Data Storeインポートコマンドを使用して実行できる操作は3つあります。

• Insert: CSVファイルからテーブルにデータの新しい行を挿入します
• Update: テーブル内の既存のデータ行を更新します
• Upsert: 挿入と更新の両方の操作を同時に実行できます。レコードが既に存在する場合、行が更新されます。レコードが存在しない場合、データを含む新しい行が挿入されます。

入力JSON設定ファイルで実行する操作を指定できます。

入力CSVファイル

前述の通り、インポート操作はCSVファイルからテーブルにレコードを一括書き込みします。CSVファイルは2つの方法で提供できます。

1. この操作の実行を開始する前に、レコードを含むCSVファイルをStratusのバケットにアップロードできます。この場合、コマンド実行時に渡すJSON設定ファイルに、Stratusでファイルに生成された一意のオブジェクトURLを指定する必要があります。
2. コマンドにJSON設定ファイルを渡さない場合は、上記の一般構文に示されているように、コマンド実行でシステム内のCSVファイルのパスを指定する必要があります。Catalystは指定されたCSVファイルをプロジェクトのバケットにアップロードし、実行用のオブジェクトURLを自動的に取得します。Stratusにファイルを保存するパスを選択できます。

Catalystは、JSONファイルで指定されたオブジェクトURLよりも、コマンドで指定されたCSVファイルを優先します。どちらにもCSVファイルが指定されていない場合、CLIはコマンド実行中にエラーメッセージを表示します。

JSON設定ファイルの構造

インポート操作の要件を指定するサンプルJSON設定ファイルは、コマンド実行時にオプションで渡すことができ、以下に示されています。

{
	"table_identifier" : "ZylkerEmpDatabase",
	"operation" : "upsert",
	"object_url" : "https://bucket-name-development.zohostratus.com/object-name",
	"callback" : {
		"url" : "https://hr.zylker.com/ja/EmpRecords/_callback.php.com",
		"headers" : {
			"src" : "ZCatalyst",
			"operation" : "bulkwriteAPI"
		}
	},
	"find_by" : "EmpID",
	"fk_mapping" : [
		{
			"local_column" : "EmpID",
			"reference_column" : "EmployeeID"
		},
		{
			"local_column" : "DeptID",
			"reference_column" : "DepartmentID"
		}
	]
}

JSON設定ファイルでサポートされているパラメータは以下のように定義されています。

コールバックプロパティ

インポートジョブの処理状態

インポート操作には3つのジョブ処理状態があります。

• 進行中: インポートコマンドを実行するとすぐにジョブがこの状態に入ります。CLIはjob_idパラメータを表示し、JSONにコールバックURLを設定していない場合は、これを使用して後続のレスポンスのジョブ実行ステータスを手動で確認できます。
  
  コールバックURLを設定している場合、定義した形式でjob_idを含む状態レスポンスがURLにも送信されます。
• 成功: インポート操作が成功した場合、Catalystはジョブ実行の詳細を含むCSVレポートファイルをダウンロードできるダウンロードURLを提供します。Catalystでは、CLIを通じてレポートファイルをシステムに直接ダウンロードすることもできます。コールバックURLを設定している場合、このレスポンスもURLに送信されます。
• 失敗: インポート操作が失敗した場合、CLIは発生したエラーの詳細を表示します。コールバックURLを設定している場合、このレスポンスもURLに送信されます。

インポートオプション

インポートコマンドの実行プロセスは、各オプションについてこのセクションで詳しく説明されています。Data Storeインポートコマンドは以下のオプションをサポートしています。

--config <path>

configオプションを使用すると、システム内のJSON設定ファイルのパスを定義できます。

たとえば、以下のようにインポート操作を実行してJSONファイルパスを渡すことができます。

CLIは自動的にジョブの実行をスケジュールし、「進行中」としてマークします。job_idとともに実行プロセスのライブストリームを表示します。

ジョブが正常に実行された場合、CLIはレポートファイルをシステムにダウンロードするよう求めます。「y」と入力し、Enterを押してダウンロードします。

レポートファイルを含むZIPファイルがプロジェクトディレクトリにダウンロードされます。

Catalystが提供するダウンロードURLを使用して、CLIで作業していないときでもレポートをダウンロードできます。APIコマンドとして実行する必要があります。

--table <name|id>

--tableオプションを使用すると、レコードを書き込むテーブルのテーブル名またはテーブルIDを指定できます。

前述の通り、JSONファイルでテーブル識別子を指定しない場合、またはコマンド実行時にJSONファイルを渡さない場合は、このオプションを使用して指定する必要があります。

Catalystは、JSONファイルで指定されたテーブルよりも、オプションで指定されたテーブルを優先します。どちらにもテーブルが指定されていない場合、CLIはコマンド実行中にエラーメッセージを表示します。

たとえば、以下の方法でCSVファイルパスとともにテーブル識別子を指定できます。

CSVファイルパスを指定した場合、CLIはインポート操作を実行し、指定されたテーブルにレコードを一括書き込みし、同じ方法でレポートファイルを提供します。

--production

–productionオプションを使用すると、Catalystプロジェクトの本番環境でインポート操作を直接実行できます。このオプションを使用すると、入力CSVファイルのレコードが本番環境の指定されたテーブルに直接一括書き込みされます。