特徴量エンジニアリング

特徴量生成

これは、既存の特徴量をターゲット特徴量との関連性を高めるために新しい特徴量に変換するプロセスです。特徴量生成には以下の技術が使用されます：

• Operations - 既存の数値特徴量に対する数学的演算に基づいて新しい特徴量を生成する特徴量生成技術です。
• Autolearn - 回帰ベースの特徴量生成アルゴリズムです。ペアワイズの特徴量関連性をマイニングし、各ペア間の線形または非線形の関係を特定し、回帰を適用し、安定して予測性能を向上させる関係を選択することで特徴量が生成されます。
• Explorekit - 元の特徴量の情報を組み合わせて大量の候補特徴量セットを生成し、ユーザーが選択した基準に従って予測性能を最大化することを目的としています。

特徴量選択

以下の技術は、データセットの元の特徴量リストから関連する特徴量のサブセットを選択することにより、特徴量空間の次元を削減し、モデルを簡素化し、モデルの汎化性能を向上させるのに役立ちます。

• Embedded - 機械学習モデルのトレーニングプロセスに特徴量選択が組み込まれた技術です。モデル自体がトレーニング中にどの特徴量が最も関連性があるかを判断します。
• Filter - 統計的特性やランキングスコアに基づいて最も関連性の高い特徴量を選択する技術です。
• Redundancy Elimination - データセットから類似または重複した情報を提供する特徴量を除去するプロセスです。
• Backward Feature Elimination - データセットのすべての特徴量から開始し、最も重要度の低い特徴量を1つずつ反復的に除去する技術です。
• Exhaustive Feature Engineering - 最適なモデル性能をもたらす最適なサブセットを見つけるために、特徴量のすべての可能な組み合わせを考慮する技術です。
• Forward Selection - 空の特徴量セットから開始し、最も重要な特徴量を1つずつ反復的に追加する技術です。

特徴量削減

これらの技術は、データセット内の観測値に対して特徴量の数が多すぎる場合にアルゴリズムが効果的なモデルをトレーニングできなくなる「次元の呪い」に対処するために使用されます。以下の効果的な技術が採用されています：

• PCA - 主成分分析（PCA）は、元のデータの変動をできるだけ保持しながら、高次元データを低次元空間に変換する次元削減技術です。
• FA - 因子分析（FA）は、データセット内の観測変数間の相関パターンを説明する潜在変数（因子）を明らかにするための統計技術です。次元削減や複雑なデータの構造に関する洞察を得るために一般的に使用されます。
• NMF - NMF（非負値行列因子分解）は、テキストデータや画素強度を持つ画像データなど、非負値データを扱う際に特に有用な次元削減および特徴量抽出技術です。
• ICA - ICA（独立成分分析）は、観測データが非ガウス的で独立なソース信号の線形結合であるという仮定の下、多変量信号を統計的に独立な成分に分離する技術です。
• LDA - LDA（線形判別分析）は、データ内の2つ以上のクラスを最もよく分離する特徴量の線形結合を見つけるための教師あり次元削減および分類技術です。