QuickMLパイプラインにおけるステージ再設定の理解

機械学習パイプラインの構築では、複数の操作を連鎖させることが多く、各操作は前の操作の結果に依存します。20以上のステージを持つ複雑なパイプラインでは、1つのステージを変更すると、下流のステージで意図しない設定変更が発生する可能性があります。これにより、面倒な再設定作業、以前の設定の喪失、およびデータフローの中断が発生する可能性があります。

この課題に対処し、複雑なワークフローのメンテナンスを簡素化するために、QuickMLはパイプラインのステージ再設定を導入しました。これは、パイプラインを構築する際にバックグラウンドで実行される自動化メカニズムです。

ステージ再設定とは？

ステージ再設定は、QuickMLのスマートなユーザーガイド型メカニズムであり、前のステージの変更によって影響を受ける下流のステージを特定します。すべての後続ステージの設定を自動的にリセットするのではなく、影響を受けるステージとオプション（再設定、スキップ、または必要なステージのみのリセット）をユーザーに提示し、効率的で制御されたパイプライン管理を可能にします。

これにより以下が保証されます：

• 後続ステージへの設定変更の影響が軽減され、よりスムーズなパイプライン構築プロセスが実現します。
• どのステージが影響を受けるかの透明性
• ビジネスニーズに応じた変更の柔軟性

リアルタイムでのステージ再設定の使用を理解するためのシナリオを考えてみましょう。

小売企業がQuickMLで販売予測パイプラインを構築し、異なる地域の製品パフォーマンスを分析しているとします。パイプラインには、データ取り込みからアルゴリズム選択まで、25以上のステージが含まれています。初期のパイプラインバージョンでは、チームはステージ4（カラム選択）でamountカラムを選択し、その後ステージ7で型変換を適用しています。

改良中に、チームメンバーがamountカラムはもう分析に必要ないと判断し、ステージ4で削除することにしました。QuickMLのステージ再設定メカニズムは、この変更がステージ7に影響することを即座に検出します。ステージ7はまだamountの型変換に依存しているためです。すべての後続ステージをリセットする代わりに、システムはステージ7が影響を受けることを特定し、オプションを提示します。カラムはもう必要ないため、チームは単純にステージ7をスキップしてマージすることを選択します。これによりパイプラインは有効に保たれ、不要な中断が回避されます。ステージ再設定がチームに全体のフローを再作業することなく正確な変更を行う方法を示しています。

パイプラインの種類とステージ再設定の互換性

ステージ再設定は、パイプラインが編集可能でユーザーが設定可能なステージをサポートするかどうかに応じて、QuickMLのさまざまなパイプラインタイプに実装されています。このメカニズムは特にClassicモードのパイプラインで有用であり、1つのステージで行われた変更が後続のステージに直接影響し、再設定が必要になる場合があります。この再設定は通常、スキーマ変更（カラムの追加、削除、名前変更など）または後続ステージでのデータ処理方法に影響する値の変更がある場合にのみトリガーされます。ただし、Smartモードのパイプラインでは、ステージに手動設定が含まれないため、この機能は通常不要です。リセットや再設定の代わりに、Smartモードではロジックが一貫してシステムによって制御されるため、単純な再実行で更新を処理します。

以下の表は、どのパイプラインタイプがステージ再設定をサポートし、各ケースでの適用性または除外の理由を説明しています：

パイプラインタイプ	ステージ再設定の適用	理由
Data Transformation	はい	ステージはユーザーが設定可能であり、再設定がサポートされています
Prediction	はい	ステージはユーザーが設定可能であり、再設定がサポートされています
Text Analytics	Classicモードのみ	Smartモードではステージレベルの編集は不要です
Recommendation	はい	ステージはユーザーが設定可能であり、再設定がサポートされています
Forecasting	いいえ	デフォルトでSmartモードを使用しており、ステージレベルの編集は不要です
Clustering	はい	ステージはユーザーが設定可能であり、再設定がサポートされています
Anomaly Detection	いいえ	デフォルトでSmartモードを使用しており、ステージレベルの編集は不要です

ステージ再設定の動作プロセス

パイプラインのステージに変更を加えると、QuickMLはその変更が後続のステージの設定に影響するかどうかを自動的に確認します。変更内容に応じて、2つの結果が考えられます。

ケース1：変更が後続ステージの設定に影響しない場合

変更が後続ステージで使用されるデータセットのスキーマを変更しない場合、QuickMLはそれらのステージがまだ有効であることを認識します。ただし、パイプラインの一貫性を維持するために、システムは後続ステージを再実行します。この場合、2つのオプションが表示されます：

• 無視してすべてリセット - 変更の影響を受けていないにもかかわらず、すべての後続ステージの設定をリセットします。
• 続行 - 既存の設定を使用して後続ステージを再実行し、再作業は不要です。

例えば、ステージ2でSelect/Drop Columns操作を使用して、後続のステージで使用されていないmembership_categoryというカラムを削除したとします。後続のステージがこのカラムに依存していないため、変更はそれらの設定に影響しません。この場合、QuickMLは後続ステージのスキーマがそのまま保たれていることを認識します。単純に続行を選択すれば、再設定なしでパイプラインが再実行されます。

ケース2：変更が後続ステージの設定に影響する場合

変更が後続ステージで使用されるデータセットのスキーマに影響する場合、QuickMLはどのステージが影響を受けるかを強調表示します。その後、影響を受けるステージの処理方法を制御するための以下のオプションが提示されます：

• 無視してすべてリセット - 影響を受けるすべてのステージの設定を無視してリセットします。
• 今すぐ設定 - 影響を受けるステージと正確に何が変更されたかを示すポップアップを開きます。設定ポップアップ内で以下が可能です：
  • 各影響を受けるステージを確認して編集し、最近の変更に基づいて設定を更新します。
  • キャンセルして行った変更を元に戻し、パイプラインを以前の状態に戻します。
  • 新しいフローで不要になったステージをスキップしてマージします。
• 破棄 - 現在のステージで行った変更を元に戻し、元の設定に復元します。これにより、適用した編集を実質的に取り消します。これは、パイプラインの残りの部分への影響のために最近の変更をキャンセルしたい場合に便利です。

以下に例を示します：ステージ2でSelect Columns操作を使用してchurn_risk_scoreカラムを含め、ステージ4でそのカラムにType Conversionを適用したとします。ステージ2でchurn_risk_scoreカラムを削除すると、ステージ4はそのカラムに依存しているため壊れます。QuickMLはこれを検出し、ステージ4が影響を受けることを表示します。その後、ステージ2でカラムを再追加するか、ステージ4を更新して別のカラムを使用するか、もはや必要ない場合はステージ4を完全にスキップするかを選択できます。

このアプローチにより、以前の作業を不必要に失うことなく、変更の処理方法を完全に制御できます。また、本当に注意が必要な部分にのみ集中することで、時間のかかる再設定を回避するのに役立ちます。

ステージ固有のエッジケース

Select/Dropステージでの追加カラムの動作：再設定中に追加されたカラムは、後続ステージの設定に影響しません。ただし、影響を受けるステージのSelect Columnsドロップダウンにリストされ、必要に応じて含めることができます。

Merge Columnsステージでの削除カラムの動作：削除されたカラムが以前にMerge Columns操作で使用されていた場合、依存関係をクリアし設定を適切に更新するために、Merge Columnsステージから再設定を開始する必要があります。

Split Columnsステージでの削除カラムの動作：削除されたカラムがSplit Columnsで使用され、2つの出力間で共有されている場合、カラムの変更方法に基づいて2つの別々の再設定レイヤーが表示されます。

Add Datasetの影響：Add Datasetステージでの変更は、パイプライン全体に影響を与える可能性があります。

注意事項

ステージ再設定機能を最大限に活用するためには、使用中に以下の重要なポイントを覚えておくことが重要です。

• ページリロードの処理：ステージ設定中にページをリロードすると、すべての変更を元に戻すか、中断した場所から再開するかのプロンプトが表示されます。
• 削除操作の影響：接続の削除とステージの削除は、後続ステージの設定をデフォルトにリセットします。
• 再設定のキャンセル：再実行中に再設定をキャンセルすると、すべての中間変更が元に戻されます。