---
title: "回帰アルゴリズム"
url: https://docs.catalyst.zoho.com/ja/quickml/help/ml-algorithms/regression-algorithms/
description: "QuickMLは、Catalyst開発プラットフォームにおける完全ノーコードの機械学習パイプラインビルダーサービスであり、エンドツーエンドのソリューションで機械学習パイプラインを作成できます。"
last_updated: 2026-03-05T06:13:24Z
service: QuickML
type: general
---

# 回帰アルゴリズム
回帰は、連続的な量を予測するタスクです。QuickMLは以下の回帰アルゴリズムを備えています。

1. ### AdaBoost回帰

    AdaBoostは、小さな1ステップ（1レベル）の決定木を連続的に構築し、前の木で見逃した予測困難なケースに各木を適応させ、すべての木を1つのモデルに統合する機械学習アルゴリズムです。

    この回帰は、まず元のデータセットに回帰器をフィッティングし、次に同じデータセットに回帰器の追加コピーをフィッティングします。これらのインスタンスの重みは、現在の予測の誤差に応じて調整されます。これにより、後続の回帰器はより困難なケースに重点を置くようになります。

    機械学習におけるブースティングは、複数の単純なモデルを1つの複合モデルに組み合わせる方法です。これがブースティングが加法モデルとも呼ばれる理由です。単純なモデル（弱学習器とも呼ばれる）は、モデル内の既存の木を変更せずに1つずつ追加されるためです。より多くの単純なモデルを組み合わせるほど、最終的な完全なモデルはより強力な予測器となります。

    #### ハイパーパラメータ:

    <table class="content-table quickml-content-table">
        <thead>
        <tr>
            <th class="w25p">パラメータ</th>
            <th class="w30p">説明</th>
            <th class="w10p">データ型</th>
            <th class="w25p">設定可能な値</th>
            <th class="w20p">デフォルト値</th>
        </tr>
        </thead>
        <tbody>
        <tr>
            <td>`base_estimator`</td>
            <td>ブーストされたアンサンブルを構築するための基本推定器です。Noneの場合、基本推定器はmax_depth=3で初期化されたDecisionTreeRegressorです。</td>
            <td>object</td>
            <td>任意の回帰モデル</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`n_estimators` 
(推定器の数)</td>
            <td>ブースティングが終了する推定器の最大数です。完全なフィットの場合、学習手順は早期に停止されます。</td>
            <td>int</td>
            <td>[1, 500]</td>
            <td>50</td>
        </tr>
        <tr>
            <td>`learning_rate`</td>
            <td>各ブースティングイテレーションで各回帰器に適用される重みです。学習率が高いほど、各回帰器の寄与が大きくなります。</td>
            <td>float</td>
            <td>(0.0, +Inf)</td>
            <td>1.0</td>
        </tr>
        <tr>
            <td>`loss`</td>
            <td>各ブースティングイテレーション後に重みを更新する際に使用する損失関数です。</td>
            <td>string</td>
            <td>{'linear', 'square', 'exponential'}</td>
            <td>&quot;linear&quot;</td>
        </tr>
    </tbody>
    </table>

2. ### CatBoost回帰

    CatBoostは勾配ブースティング決定木に基づいています。トレーニング中、一連の決定木が連続的に構築されます。後続の各木は、前の木と比較して損失が低減されるように構築されます。木の数は開始パラメータによって制御されます。

    他のアルゴリズムと比較して、予測時間が大幅に短くなります。

    #### ハイパーパラメータ:

    <table class="content-table quickml-content-table">
        <thead>
        <tr>
            <th class="w25p">パラメータ</th>
            <th class="w30p">説明</th>
            <th class="w10p">データ型</th>
            <th class="w25p">設定可能な値</th>
            <th class="w20p">デフォルト値</th>
        </tr>
        </thead>
        <tbody>
        <tr>
        <td>learning_rate</td>
        <td>トレーニングに使用される学習率です。</td>
        <td>float</td>
        <td>(0,1]</td>
        <td>0.03</td>
        </tr>
        <tr>
            <td>`l2_leaf_reg` (l2_leaf_regularization)</td>
            <td>コスト関数のL2正則化項の係数です。</td>
            <td>float</td>
            <td>[0,+Inf)</td>
            <td>3.0</td>
        </tr>
        <tr>
            <td>`rsm` (random subspace method)</td>
            <td>各分割選択時に使用する特徴量の割合で、特徴量がランダムに再選択されます。</td>
            <td>float</td>
            <td>(0,1]</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`loss_function`</td>
            <td>トレーニングで使用するメトリクスです。指定された値は、解決する機械学習の問題も決定します。一部のメトリクスはオプションのパラメータをサポートしています。</td>
            <td>string</td>
            <td>{&#39;RMSE&#39;,  &#39;MAE&#39;,  &#39;Quantile:alpha=value, &#39;LogLinQuantile: alpha=value&#39;, &#39;Poisson&#39;,  &#39;MAPE&#39;, &#39;Lq:q=value&#39;, &#39;SurvivalAft:dist=value; scale=value&#39;}  Note : range of value = [0, 1]</td>
            <td>&#39;RMSE&#39;</td>
        </tr>
        <tr>
            <td>`nan_mode`</td>
            <td>入力データセットの欠損値を処理する方法です。</td>
            <td>string</td>
            <td>{&#39;Forbidden&#39;, &#39;Min&#39;, &#39;Max&#39;}</td>
            <td>Min</td>
        </tr>
        <tr>
            <td>`leaf_estimation_method`</td>
            <td>リーフの値を計算するために使用される方法です。</td>
            <td>string</td>
            <td>{&quot;Newton&quot;, &quot;Gradient&quot;}</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`score_function`</td>
            <td>木の構築中に次の分割を選択するために使用されるスコアタイプです。</td>
            <td>string</td>
            <td>{L2, Cosine}</td>
            <td>Cosine</td>
        </tr>
        <tr>
            <td>`max_depth`</td>
            <td>木の最大深度です。</td>
            <td>int</td>
            <td>[1,+Inf)</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`n_estimators` 
(推定器の数)</td>
            <td>機械学習の問題を解決する際に構築できる木の最大数です。イテレーション数を制限する他のパラメータを使用する場合、最終的な木の数はこのパラメータで指定された数よりも少なくなる場合があります。</td>
            <td>int</td>
            <td>[1, 500]</td>
            <td>None</td>
        </tr>
        </tbody>
        </table>

3. ### Decision-Tree回帰

    決定木は、ツリー構造の形式で分類または回帰モデルを構築します。データセットをより小さなサブセットに分割しながら、同時に関連する決定木が段階的に開発されます。決定木はカテゴリカルデータと数値データの両方を処理できます。一連の特徴量の出力値を予測する際、その特徴量セットが属するサブセットに基づいて出力を予測します。

    #### ハイパーパラメータ:

    <table class="content-table quickml-content-table">
        <thead>
        <tr>
            <th class="w25p">パラメータ</th>
            <th class="w30p">説明</th>
            <th class="w10p">データ型</th>
            <th class="w25p">設定可能な値</th>
            <th class="w20p">デフォルト値</th>
        </tr>
        </thead>
        <tbody>
        <tr>
            <td>`criterion`</td>
            <td>分割の品質を測定する関数です。</td>
            <td>string</td>
            <td>{&quot;mse&quot;, &quot;friedman_mse&quot;, &quot;mae&quot;}</td>
            <td>&quot;mse"</td>
        </tr>
        <tr>
            <td>`splitter`</td>
            <td>各ノードでの分割を選択するために使用される戦略です。</td>
            <td>string</td>
            <td>{"best", "random"}</td>
            <td>"best"</td>
        </tr>
        <tr>
            <td>`max_depth`</td>
            <td>木の最大深度です。Noneの場合、すべてのリーフが純粋になるか、すべてのリーフに含まれるサンプル数がmin_samples_split未満になるまでノードが展開されます。</td>
            <td>int</td>
            <td>(0, +Inf)</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`min_samples_split`</td>
            <td>内部ノードを分割するために必要な最小サンプル数です。</td>
            <td>int  or float</td>
            <td>[2, +Inf) or (0, 1.0]</td>
            <td>2</td>
        </tr>
        <tr>
            <td>`min_samples_leaf`</td>
            <td>リーフノードに必要な最小サンプル数です。任意の深さでの分割点は、左右の各ブランチに少なくともmin_samples_leafのトレーニングサンプルが残る場合にのみ考慮されます。</td>
            <td>int or float</td>
            <td>[1, +Inf) or (0, 0.5]</td>
            <td>1</td>
        </tr>
        <tr>
            <td>`min_weight_fraction_leaf`</td>
            <td>リーフノードに必要な、すべての入力サンプルの重みの合計に対する最小加重割合です。</td>
            <td>float</td>
            <td>[0, 0.5]</td>
            <td>0</td>
        </tr>
        <tr>
            <td>`max_features`</td>
            <td>最良の分割を探す際に考慮する特徴量の数です。</td>
            <td>int, float or string</td>
            <td>(0, n_features] or { "sqrt", "log2"},</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`max_leaf_nodes`</td>
            <td>best-first方式でmax_leaf_nodesのリーフを持つ木を成長させます。最良のノードは不純度の相対的な減少として定義されます。</td>
            <td>int</td>
            <td>(1, +Inf)</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`min_impurity_decrease`</td>
            <td>この分割によって不純度がこの値以上に減少する場合にノードが分割されます。</td>
            <td>float</td>
            <td>[0, +Inf)</td>
            <td>0.0</td>
        </tr>
        </tbody>
        </table>

4. ### ElasticNet回帰

    Elastic Netは、L1（Lasso回帰）とL2（Ridge回帰）の2つの一般的なペナルティ関数を組み合わせた、広く使用される正則化線形回帰の一種です。Elastic Netは、トレーニング中に損失関数に正則化ペナルティを追加する線形回帰の拡張です。

    正則化は、モデルに追加情報を加えることで過学習を防ぐ手法です。正則化手法では、特徴量の数を維持しながら特徴量の大きさを減少させます。

    Lasso回帰では、予測が特定の変数に過度に依存する場合にモデルに小さなバイアス（予測値と実際の値の差）が生じることがあります。このような場合、Elastic NetはLassoとRidge回帰の両方の正則化を組み合わせることで、より優れたパフォーマンスを発揮します。

    #### ハイパーパラメータ:

    <table class="content-table quickml-content-table">
        <thead>
        <tr>
            <th class="w25p">パラメータ</th>
            <th class="w30p">説明</th>
            <th class="w10p">データ型</th>
            <th class="w25p">設定可能な値</th>
            <th class="w20p">デフォルト値</th>
        </tr>
        </thead>
        <tbody>
        <tr>
            <td>`alpha`</td>
            <td>ペナルティ項に乗算される定数です。</td>
            <td>float</td>
            <td>(0, +Inf)</td>
            <td>1.0</td>
        </tr>
        <tr>
            <td>`l1_ratio`</td>
            <td>ElasticNetの混合パラメータで、
0 &lt;= l1_ratio &lt;= 1です。
 l1_ratio = 0の場合、ペナルティはL2ペナルティです。
 l1_ratio = 1の場合、L1ペナルティです。
 0 &lt; l1_ratio &lt; 1の場合、ペナルティはL1とL2の組み合わせです。</td>
            <td>float</td>
            <td>[0, 1]</td>
            <td>0.5</td>
        </tr>
        <tr>
            <td>`fit_intercept`</td>
            <td>切片を推定するかどうかを指定します。</td>
            <td>bool</td>
            <td>True or False</td>
            <td>True</td>
        </tr>
        <tr>
            <td>`normalize`</td>
            <td>このパラメータは、fit_interceptがFalseに設定されている場合は無視されます。Trueの場合、回帰前に回帰変数Xは平均を引いてl2ノルムで割ることにより正規化されます。</td>
            <td>bool</td>
            <td>True or False</td>
            <td>False</td>
        </tr>
        <tr>
            <td>`tol` (tolerance)</td>
            <td>最適化の許容値です。更新がtolより小さい場合、最適化コードは双対ギャップの最適性をチェックし、tolより小さくなるまで続行します。</td>
            <td>float</td>
            <td>[0.0, +Inf)</td>
            <td>1e-4</td>
        </tr>
        <tr>
            <td>`warm_start`</td>
            <td>Trueに設定すると、前回のfit呼び出しの解を初期化として再利用します。それ以外の場合は、前回の解を消去します。</td>
            <td>bool</td>
            <td>True or False</td>
            <td>False</td>
        </tr>
        <tr>
            <td>`positive`</td>
            <td>Trueに設定すると、係数を正の値に強制します。</td>
            <td>bool</td>
            <td>True or False</td>
            <td>False</td>
        </tr>
        <tr>
            <td>`selection`</td>
            <td>'random'に設定すると、デフォルトで特徴量を順次ループするのではなく、各イテレーションでランダムな係数が更新されます。</td>
            <td>string</td>
            <td>{&quot;cyclic&quot;, &quot;random&quot;}</td>
            <td>&quot;cyclic&quot;</td>
        </tr>
        </tbody>
        </table>

5. ### GB回帰
    
    勾配ブースティング回帰は、現在の予測と既知の正しいターゲット値との差を計算します。

    この差は残差と呼ばれます。この値を取得した後、勾配ブースティング回帰は特徴量をその残差にマッピングする弱モデル（決定木）をトレーニングします。弱モデルによって予測された残差は既存のモデル入力に追加され、モデルを正しいターゲットに向けて修正します。このステップを複数回繰り返すことで、全体的なモデルの予測が向上します。

    #### ハイパーパラメータ:

    <table class="content-table quickml-content-table">
        <thead>
        <tr>
            <th class="w25p">パラメータ</th>
            <th class="w30p">説明</th>
            <th class="w10p">データ型</th>
            <th class="w25p">設定可能な値</th>
            <th class="w20p">デフォルト値</th>
        </tr>
        </thead>
        <tbody>
        <tr>
            <td>`loss`</td>
            <td>最適化する損失関数です。'ls'は最小二乗回帰を指します。'lad'（最小絶対偏差）は、入力変数の順序情報のみに基づく非常にロバストな損失関数です。'huber'は両者の組み合わせです。'quantile'は分位回帰を可能にします（分位数を指定するにはalphaを使用します）。</td>
            <td>string</td>
            <td>{&#39;ls&#39;, &#39;lad&#39;, &#39;huber&#39;, &#39;quantile&#39;}</td>
            <td>'ls'</td>
        </tr>
        <tr>
            <td>`learning_rate`</td>
            <td>学習率は、learning_rateによって各木の寄与を縮小させます。</td>
            <td>float</td>
            <td>(0.0, +inf)</td>
            <td>0.1</td>
        </tr>
        <tr>
            <td>`n_estimators`
 (推定器の数)</td>
            <td>実行するブースティングステージの数です。勾配ブースティングは過学習に対してかなりロバストであるため、通常は大きな数を指定するとパフォーマンスが向上します。</td>
            <td>int</td>
            <td>[1, 500)</td>
            <td>100</td>
        </tr>
        <tr>
            <td>`criterion`</td>
            <td>分割の品質を測定する関数です。</td>
            <td>string</td>
            <td>{&#39;friedman_mse&#39;, &#39;mse&#39;, &#39;mae&#39;}</td>
            <td>'friedman_mse'</td>
        </tr>
        <tr>
            <td>`subsample`</td>
            <td>個々の基本学習器のフィッティングに使用されるサンプルの割合です。</td>
            <td>float</td>
            <td>(0.0, 1.0]</td>
            <td>1.0</td>
        </tr>
        <tr>
            <td>`max_depth`</td>
            <td>個々の回帰推定器の最大深度です。最大深度はツリー内のノード数を制限します。</td>
            <td>int</td>
            <td>(0, +Inf)</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`min_samples_split`</td>
            <td>内部ノードを分割するために必要な最小サンプル数です。</td>
            <td>int or float</td>
            <td>[2, +Inf) or (0, 1.0]</td>
            <td>2</td>
        </tr>
        <tr>
            <td>`min_samples_leaf`</td>
            <td>リーフノードに必要な最小サンプル数です。任意の深さでの分割点は、左右の各ブランチに少なくともmin_samples_leafのトレーニングサンプルが残る場合にのみ考慮されます。</td>
            <td>int or float</td>
            <td> [1, +Inf) or (0, 0.5]</td>
            <td>1</td>
        </tr>
        <tr>
            <td>`min_weight_fraction_leaf`</td>
            <td>リーフノードに必要な、すべての入力サンプルの重みの合計に対する最小加重割合です。</td>
            <td>float</td>
            <td>[0, 0.5]</td>
            <td>0</td>
        </tr>
        <tr>
            <td>`max_features`</td>
            <td>最良の分割を探す際に考慮する特徴量の数です。</td>
            <td>int, float or string</td>
            <td>(0, n_features] or { "sqrt", "log2"}</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`max_leaf_nodes`</td>
            <td>best-first方式でmax_leaf_nodesのリーフを持つ木を成長させます。最良のノードは不純度の相対的な減少として定義されます。</td>
            <td>int</td>
            <td>(1, +Inf)</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`min_impurity_decrease`</td>
            <td>この分割によって不純度がこの値以上に減少する場合にノードが分割されます。</td>
            <td>float</td>
            <td>[0, +Inf)</td>
            <td>0.0</td>
        </tr>
        <tr>
            <td>`init`</td>
            <td>初期予測の計算に使用される推定器オブジェクトです。initはfitとpredictを提供する必要があります。'zero'の場合、初期の生の予測はゼロに設定されます。</td>
            <td>object</td>
            <td>推定器（CatBoost以外の回帰モデル）または'zero'</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`warm_start`</td>
            <td>Trueに設定すると、前回のfit呼び出しの解を再利用し、アンサンブルにさらに推定器を追加します。それ以外の場合は、前回の解を消去します。</td>
            <td>bool</td>
            <td>True or  False</td>
            <td>False</td>
        </tr>
        <tr>
            <td>`tol` (tolerance)</td>
            <td>早期停止のための許容値です。n_iter_no_changeイテレーション（数値に設定されている場合）で損失が少なくともtol以上改善しない場合、トレーニングが停止します。</td>
            <td>float</td>
            <td>[0.0, +Inf)</td>
            <td>1e-4</td>
        </tr>
    </tbody>
    </table>

6. ### KNN回帰
    
    KNN回帰は、クエリ（データインスタンス）とデータ内のすべての例との間の距離を求め、クエリに最も近い指定数の例（K）を選択し、同じ近傍の観測値の平均であるポイントに投票することで動作します。

    言い換えれば、同じ近傍の観測値を平均化することにより、独立変数（入力変数）と連続的な結果（ターゲット）との間の関連性を近似します。

    #### ハイパーパラメータ:

    <table class="content-table quickml-content-table">
        <thead>
        <tr>
        <th class="w25p">パラメータ</th>
            <th class="w30p">説明</th>
            <th class="w10p">データ型</th>
            <th class="w25p">設定可能な値</th>
            <th class="w20p">デフォルト値</th>
        </tr>
        </thead>
        <tbody>
        <tr>
            <td>`n_neighbors` 
(近傍の数)</td>
            <td>kneighborsクエリにデフォルトで使用する近傍の数です。</td>
            <td>int</td>
            <td>[1, n]
 n = データセットの総レコード数</td>
            <td>5</td>
        </tr>
        <tr>
            <td>`weights`</td>
            <td>予測で使用される重み関数です。<ul style="text-align: left; ;"><li><strong>'uniform'</strong>：均一な重みです。各近傍のすべてのポイントが等しく重み付けされます。<li><strong>'distance'</strong>：距離の逆数でポイントに重みを付けます。この場合、クエリポイントに近い近傍は、遠い近傍よりも大きな影響を与えます。</ul></td>
            <td>string</td>
            <td>{'uniform', 'distance'}</td>
            <td>'uniform'</td>
        </tr>
        <tr>
            <td>`algorithm`</td>
            <td>最近傍の計算に使用されるアルゴリズムです。</td>
            <td>string</td>
            <td>{'auto', 'ball_tree', 'kd_tree', 'brute'}</td>
            <td>'auto'</td>
        </tr>
        <tr>
            <td>`leaf_size`</td>
            <td>BallTreeまたはKDTreeに渡されるリーフサイズです。これは構築とクエリの速度、およびツリーの格納に必要なメモリに影響を与える可能性があります。最適な値は問題の性質に依存します。</td>
            <td>int</td>
            <td> (1, +Inf)</td>
            <td>30</td>
        </tr>
        <tr>
            <td>`p`</td>
            <td>Minkowskiメトリクスのべき乗パラメータです。p = 1の場合、manhattan_distance（l1）の使用と同等であり、p = 2の場合はeuclidean_distance（l2）です。
任意のpの場合、minkowski_distance（l_p）が使用されます。</td>
            <td>int</td>
            <td>[1,3]</td>
            <td>2</td>
        </tr>
        <tr>
            <td>`metric`</td>
            <td>距離計算に使用するメトリクスです。デフォルトは"minkowski"で、p = 2の場合は標準的なユークリッド距離になります。</td>
            <td>str</td>
            <td>{'cityblock', 'cosine', &#39;euclidean&#39;, &#39;l1&#39;, &#39;l2&#39;, &#39;manhattan&#39;, &#39;nan_euclidean&#39;, 'minkowski'}</td>
            <td>'minkowski'</td>
        </tr>
        </tbody>
        </table>

7. ### Kernel回帰

    この回帰は、散布図に線をフィッティングするものです。カーネル値は、与えられた入力から出力を予測するための重みを導出するために使用されます。カーネル回帰は、確率変数の条件付き期待値を推定するためのノンパラメトリックな手法です。目的は、確率変数XとYのペア間の非線形関係を見つけることです。

    #### ハイパーパラメータ:

    <table class="content-table quickml-content-table">
        <thead>
        <tr>
            <th class="w25p">パラメータ</th>
            <th class="w30p">説明</th>
            <th class="w10p">データ型</th>
            <th class="w25p">設定可能な値</th>
            <th class="w20p">デフォルト値</th>
        </tr>
        </thead>
        <tbody>
        <tr>
            <td>`alpha`</td>
            <td>正則化の強度で、正のfloat値である必要があります。正則化は問題の条件付けを改善し、推定値の分散を減少させます。値が大きいほど、より強い正則化が指定されます。</td>
            <td>float</td>
            <td>[0, +Inf)</td>
            <td>1.0</td>
        </tr>
        <tr>
            <td>`kernel`</td>
            <td>内部で使用されるカーネルマッピングです。このパラメータはpairwise_kernelに直接渡されます。kernelが文字列の場合、pairwise.PAIRWISE_KERNEL_FUNCTIONSのメトリクスの1つまたは"precomputed"である必要があります。kernelが"precomputed"の場合、Xはカーネル行列と見なされます。</td>
            <td>string</td>
            <td>{'additive_chi2',&#39;chi2&#39; 'linear', 'poly', 'polynomial', 'rbf', 'laplacian', 'sigmoid', &#39;cosine'}</td>
            <td>"linear"</td>
        </tr>
        <tr>
            <td>`gamma`</td>
            <td>RBF、laplacian、polynomial、exponential chi2、sigmoidカーネルのGammaパラメータです。デフォルト値の解釈はカーネルに委ねられています。sklearn.metrics.pairwiseのドキュメントを参照してください。</td>
            <td>float</td>
            <td>[0, +Inf)</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`degree`</td>
            <td>多項式カーネルの次数です。</td>
            <td>float</td>
            <td>[0, +Inf)</td>
            <td>3</td>
        </tr>
        <tr>
            <td>`coef0`</td>
            <td>多項式カーネルとsigmoidカーネルのゼロ係数です。</td>
            <td>float</td>
            <td>(-Inf, +Inf)</td>
            <td>1</td>
        </tr>
    </tbody>
    </table>

8. ### LGBM回帰

    LGBMは、各木の出力を使用して更新される初期推定値から始まります。学習パラメータは、推定値のこの変化の大きさを制御します。任意のデータに使用でき、多くの組み込み前処理ステップが含まれているため、高い精度を提供します。

    LightGBMアルゴリズムは垂直方向に成長します。つまり、リーフ単位で成長しますが、他のアルゴリズムはレベル単位で成長します。LightGBMは最大の損失を持つリーフを選択して成長させます。同じリーフを成長させる場合、レベル単位のアルゴリズムよりも多くの損失を低減できます。

    #### ハイパーパラメータ:

    <table class="content-table quickml-content-table">
        <thead>
        <tr>
            <th class="w25p">パラメータ</th>
            <th class="w30p">説明</th>
            <th class="w10p">データ型</th>
            <th class="w25p">設定可能な値</th>
            <th class="w20p">デフォルト値</th>
        </tr>
        </thead>
        <tbody>
        <tr>
            <td>`boosting_type`</td>
            <td>ブースティングの方法です。</td>
            <td>string</td>
            <td>{'gbdt', 'dart', 'goss'}</td>
            <td>&#39;gbdt&#39;</td>
        </tr>
        <tr>
            <td>`num_leaves`</td>
            <td>基本学習器の最大ツリーリーフ数です。</td>
            <td>int</td>
            <td>(1, +Inf)</td>
            <td>31</td>
        </tr>
        <tr>
            <td>`max_depth`</td>
            <td>基本学習器の最大ツリー深度です。&lt;= 0は制限なしを意味します。</td>
            <td>int</td>
            <td>(-Inf, +Inf)</td>
            <td>-1</td>
        </tr>
        <tr>
            <td>`learning_rate`</td>
            <td>ブースティングの学習率です。</td>
            <td>float</td>
            <td>(0.0, +Inf)</td>
            <td>0.1</td>
        </tr>
        <tr>
            <td>`n_estimators`
 (推定器の数)</td>
            <td>フィットするブーストされた木の数です。</td>
            <td>int</td>
            <td>[1, 500]</td>
            <td>100</td>
        </tr>
        <tr>
            <td>`subsample_for_bin`</td>
            <td>ビンの構築に使用するサンプル数です。</td>
            <td>int</td>
            <td>(0, +Inf)</td>
            <td>200000</td>
        </tr>
        <tr>
            <td>`min_split_gain`</td>
            <td>木のリーフノードでさらに分割を行うために必要な最小損失減少量です。</td>
            <td>float</td>
            <td>[0.0, +Inf)</td>
            <td>0.0</td>
        </tr>
        <tr>
            <td>`min_child_weight`</td>
            <td>子（リーフ）に必要なインスタンスの重み（ヘッセ行列）の最小合計です。</td>
            <td>float</td>
            <td>[0.0, +Inf)</td>
            <td>1e-3</td>
        </tr>
        <tr>
            <td>`min_child_samples`</td>
            <td>子（リーフ）に必要なデータの最小数です。</td>
            <td>int</td>
            <td>[0, +Inf)</td>
            <td>20</td>
        </tr>
        <tr>
            <td>`subsample`</td>
            <td>トレーニングインスタンスのサブサンプル比率です。</td>
            <td>float</td>
            <td>(0.0, 1.0]</td>
            <td>1.0</td>
        </tr>
        <tr>
            <td>`subsample_freq` (subsample_frequency)</td>
            <td>サブサンプルの頻度です。&lt;= 0は無効を意味します。</td>
            <td>int</td>
            <td>(-Inf, +Inf)</td>
            <td>0</td>
        </tr>
        <tr>
            <td>`colsample_bytree` (column sample by tree)</td>
            <td>各木を構築する際の列のサブサンプル比率です。</td>
            <td>float</td>
            <td>(0.0, 1.0]</td>
            <td>1.0</td>
        </tr>
        <tr>
            <td>`reg_alpha` (alpha)</td>
            <td>重みに対するL1正則化項です。</td>
            <td>float</td>
            <td>(0.0, +Inf)</td>
            <td>0.0</td>
        </tr>
        <tr>
            <td>`reg_lambda` (lambda)</td>
            <td>重みに対するL2正則化項です。</td>
            <td>float</td>
            <td>(0.0, +Inf)</td>
            <td>0.0</td>
        </tr>
        <tr>
            <td>`importance_type`</td>
            <td>feature_importances_に入力される特徴量の重要度のタイプです。'split'の場合、結果にはモデルで特徴量が使用された回数が含まれます。'gain'の場合、結果にはその特徴量を使用した分割の総ゲインが含まれます。</td>
            <td>string</td>
            <td>{ 'gain', &#39;split&#39;}</td>
            <td>&#39;split&#39;</td>
        </tr>
        </tbody>
        </table>

9. ### Lasso回帰
    
    Lasso回帰は正則化手法です。より正確な予測のために回帰手法に対して使用されます。Lasso回帰は縮小を使用する線形回帰の一種です。縮小とは、データ値が平均のような中心点に向かって縮小されることです。Lasso手順は、シンプルでスパースなモデル（つまり、パラメータが少ないモデル）を促進します。

    #### ハイパーパラメータ:

    <table class="content-table quickml-content-table">
        <thead>
        <tr>
            <th class="w25p">パラメータ</th>
            <th class="w30p">説明</th>
            <th class="w10p">データ型</th>
            <th class="w25p">設定可能な値</th>
            <th class="w20p">デフォルト値</th>
        </tr>
        </thead>
        <tbody>
        <tr>
            <td>`alpha`</td>
            <td>L1項に乗算される定数で、正則化の強度を制御します。alphaは非負のfloat値である必要があります。</td>
            <td>float</td>
            <td>(0, +Inf)</td>
            <td>1.0</td>
        </tr>
        <tr>
            <td>`fit_intercept`</td>
            <td>このモデルの切片を計算するかどうかを指定します。Falseに設定すると、計算で切片は使用されません。</td>
            <td>bool</td>
            <td>True or False</td>
            <td>True</td>
        </tr>
        <tr>
            <td>`normalize`</td>
            <td>このパラメータは、fit_interceptがFalseに設定されている場合は無視されます。Trueの場合、回帰前に回帰変数Xは平均を引いてl2ノルムで割ることにより正規化されます。</td>
            <td>bool</td>
            <td>True or False</td>
            <td>False</td>
        </tr>
        <tr>
            <td>`tol` (tolerance)</td>
            <td>最適化の許容値です。更新がtolより小さい場合、最適化コードは双対ギャップの最適性をチェックし、tolより小さくなるまで続行します。</td>
            <td>float</td>
            <td>[0.0, +Inf)</td>
            <td>1e-4</td>
        </tr>
        <tr>
            <td>`warm_start`</td>
            <td>Trueに設定すると、前回のfit呼び出しの解を初期化として再利用します。それ以外の場合は、前回の解を消去します。</td>
            <td>bool</td>
            <td>True or False</td>
            <td>False</td>
        </tr>
        <tr>
            <td>`positive`</td>
            <td>Trueに設定すると、係数を正の値に強制します。</td>
            <td>bool</td>
            <td>True or False</td>
            <td>False</td>
        </tr>
        <tr>
            <td>`selection`</td>
            <td>'random'に設定すると、デフォルトで特徴量を順次ループするのではなく、各イテレーションでランダムな係数が更新されます。</td>
            <td>string</td>
            <td>{&quot;cyclic&quot;, &quot;random&quot;}</td>
            <td>&quot;cyclic&quot;</td>
        </tr>
    </tbody>
    </table>

10. ### Linear回帰
    
    線形回帰は、直線を使用して独立変数（入力）と従属変数（ターゲット）の間の線形関係を推定する回帰モデルです。回帰タイプの問題の基本的なアルゴリズムです。

    #### ハイパーパラメータ:

    <table class="content-table quickml-content-table">
        <thead>
        <tr>
            <th class="w25p">パラメータ</th>
            <th class="w30p">説明</th>
            <th class="w10p">データ型</th>
            <th class="w25p">設定可能な値</th>
            <th class="w20p">デフォルト値</th>
        </tr>
        </thead>
        <tbody>
        <tr>
            <td>`fit_intercept`</td>
            <td>このモデルの切片を計算するかどうかを指定します。Falseに設定すると、計算で切片は使用されません。</td>
            <td>bool</td>
            <td>True or False</td>
            <td>True</td>
        </tr>
        <tr>
            <td>`normalize`</td>
            <td>このパラメータは、fit_interceptがFalseに設定されている場合は無視されます。Trueの場合、回帰前に回帰変数Xは平均を引いて
l2ノルムで割ることにより正規化されます。</td>
            <td>bool</td>
            <td>True or False</td>
            <td>False</td>
        </tr>
        </tbody>
        </table>

11. ### Random-Forest回帰
    
    ランダムフォレストは、多数の決定木で構成される分類および回帰アルゴリズムです。個々の木を構築する際にバギングと特徴量のランダム性を使用し、委員会による予測が個々の木よりも正確な、無相関の木のフォレストを作成しようとします。

    バギングは、元のデータセットのランダムなサブセットで基本分類器/回帰器をフィットさせ、個々の予測を集約（投票または平均化）して最終的な予測を形成するアンサンブルメタ推定器です。

    #### ハイパーパラメータ:

    <table class="content-table quickml-content-table">
        <thead>
        <tr>
            <th class="w25p">パラメータ</th>
            <th class="w30p">説明</th>
            <th class="w10p">データ型</th>
            <th class="w25p">設定可能な値</th>
            <th class="w20p">デフォルト値</th>
        </tr>
        </thead>
        <tbody>
        <tr>
            <td>`n_estimators`</td>
            <td>フォレスト内の木の数です。</td>
            <td>int</td>
            <td>[1, 500]</td>
            <td>100</td>
        </tr>
        <tr>
            <td>`criterion`</td>
            <td>分割の品質を測定する関数です。サポートされている基準は、特徴量選択基準として分散減少に等しい平均二乗誤差の"squared_error"と、平均絶対誤差の"absolute_error"です。</td>
            <td>string</td>
            <td>{&quot;mse&quot;, &quot;mae&quot;}</td>
            <td>"mse"</td>
        </tr>
        <tr>
            <td>`max_depth`</td>
            <td>木の最大深度です。Noneの場合、すべてのリーフが純粋になるか、すべてのリーフに含まれるサンプル数がmin_samples_split未満になるまでノードが展開されます。</td>
            <td>int</td>
            <td>(0, +Inf)</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`min_samples_split`</td>
            <td>内部ノードを分割するために必要な最小サンプル数です。</td>
            <td>int  or float</td>
            <td>[2, +Inf) or (0, 1.0]</td>
            <td>2</td>
        </tr>
        <tr>
            <td>`min_samples_leaf`</td>
            <td>リーフノードに必要な最小サンプル数です。任意の深さでの分割点は、左右の各ブランチに少なくともmin_samples_leafのトレーニングサンプルが残る場合にのみ考慮されます。</td>
            <td>int or float</td>
            <td>[1, +Inf) or (0, 0.5]</td>
            <td>1</td>
        </tr>
        <tr>
            <td>`min_weight_fraction_leaf`</td>
            <td>リーフノードに必要な、すべての入力サンプルの重みの合計に対する最小加重割合です。sample_weightが指定されていない場合、サンプルは等しい重みを持ちます。</td>
            <td>float</td>
            <td>[0, 0.5]</td>
            <td>0.0</td>
        </tr>
        <tr>
            <td>`max_features`</td>
            <td>最良の分割を探す際に考慮する特徴量の数です。</td>
            <td>int, float or string</td>
            <td>(0, n_features] or { "sqrt", "log2"}, None</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`max_leaf_nodes`</td>
            <td>best-first方式でmax_leaf_nodesのリーフを持つ木を成長させます。最良のノードは不純度の相対的な減少として定義されます。</td>
            <td>int</td>
            <td>(1, +Inf)</td>
            <td>None</td>
        </tr>
        <tr>
            <td>`min_impurity_decrease`</td>
            <td>この分割によって不純度がこの値以上に減少する場合にノードが分割されます。</td>
            <td>float</td>
            <td>[0, +Inf)</td>
            <td>0.0</td>
        </tr>
        <tr>
            <td>`bootstrap`</td>
            <td>木の構築時にブートストラップサンプルを使用するかどうかを指定します。Falseの場合、各木の構築にデータセット全体が使用されます。</td>
            <td>bool</td>
            <td>True or False</td>
            <td>True</td>
        </tr>
        <tr>
            <td>`oob_score` (out of bag score)</td>
            <td>汎化スコアを推定するためにout-of-bagサンプルを使用するかどうかを指定します。bootstrap=Trueの場合のみ利用可能です。</td>
            <td>bool</td>
            <td>True or False</td>
            <td>False</td>
        </tr>
        <tr>
            <td>`warm_start`</td>
            <td>Trueに設定すると、前回のfit呼び出しの解を再利用し、アンサンブルにさらに推定器を追加します。それ以外の場合は、完全に新しいフォレストをフィットします。</td>
            <td>bool</td>
            <td>True or  False</td>
            <td>False</td>
        </tr>
    </tbody>
    </table>

12. ### Ridge回帰

    Ridge回帰は、独立変数が高度に相関しているシナリオで重回帰モデルの係数を推定する方法です。入力変数がターゲットと高度に相関している場合に使用できます。

    #### ハイパーパラメータ:

    <table class="content-table quickml-content-table">
        <thead>
        <tr>
            <th class="w25p">パラメータ</th>
            <th class="w30p">説明</th>
            <th class="w10p">データ型</th>
            <th class="w25p">設定可能な値</th>
            <th class="w20p">デフォルト値</th>
        </tr>
        </thead>
        <tbody>
        <tr>
            <td>`alpha`</td>
            <td>L2項に乗算される定数で、正則化の強度を制御します。</td>
            <td>float</td>
            <td>(0, +Inf)</td>
            <td>1.0</td>
        </tr>
        <tr>
            <td>`fit_intercept`</td>
            <td>このモデルの切片をフィットするかどうかを指定します。Falseに設定すると、計算で切片は使用されません。</td>
            <td>bool</td>
            <td>True or False</td>
            <td>True</td>
        </tr>
        <tr>
            <td>`normalize`</td>
            <td>このパラメータは、fit_interceptがFalseに設定されている場合は無視されます。Trueの場合、回帰前に回帰変数Xは平均を引いて
 l2ノルムで割ることにより正規化されます。</td>
            <td>bool</td>
            <td>True or False</td>
            <td>False</td>
        </tr>
        <tr>
            <td>`tol` (tolerance)</td>
            <td>解の精度です。</td>
            <td>float</td>
            <td>[0.0, +Inf)</td>
            <td>1e-4</td>
        </tr>
        <tr>
            <td>`solver`</td>
            <td>計算ルーチンで使用するソルバーです:</td>
            <td>string</td>
            <td>{'auto', 'svd', 'cholesky', 'lsqr', 'sparse_cg', 'sag', 'saga'}</td>
            <td>'auto'</td>
        </tr>
    </tbody>
    </table>

> **注意:** **solver**の値は以下の通りです:

    * '**auto**'はデータの種類に基づいてソルバーを自動的に選択します。
    * '**svd**'はXの特異値分解を使用してRidge係数を計算します。最も安定したソルバーであり、特に特異行列に対して'cholesky'より安定していますが、速度は遅くなります。
    * '**cholesky**'は標準的なscipy.linalg.solve関数を使用して閉形式の解を取得します。
    * '**sparse_cg**'はscipy.sparse.linalg.cgにある共役勾配ソルバーを使用します。反復アルゴリズムとして、このソルバーは大規模データに対して'cholesky'よりも適しています（tolとmax_iterを設定可能）。
    * '**lsqr**'は専用の正則化最小二乗ルーチンscipy.sparse.linalg.lsqrを使用します。最も高速で、反復手順を使用します。
    * '**sag**'は確率的平均勾配降下法を使用し、'saga'はSAGAと呼ばれる改良された不偏バージョンを使用します。両方の方法も反復手順を使用し、n_samplesとn_featuresの両方が大きい場合、他のソルバーよりも高速であることが多いです。'sag'と'saga'の高速収束は、特徴量がほぼ同じスケールである場合にのみ保証されます。sklearn.preprocessingのスケーラーでデータを前処理できます。

13. ### SVM回帰

    サポートベクター回帰は離散値を予測するために使用されます。サポートベクター回帰はSVMと同じ原理を使用します。SVMの基本的な考え方は、最良のフィット線を見つけることです。SVMでは、最良のフィット線は最大数のポイントを持つ超平面です。

    #### ハイパーパラメータ:

    <table class="content-table quickml-content-table">
        <thead>
        <tr>
            <th class="w25p">パラメータ</th>
            <th class="w30p">説明</th>
            <th class="w10p">データ型</th>
            <th class="w25p">設定可能な値</th>
            <th class="w20p">デフォルト値</th>
        </tr>
        </thead>
        <tbody>
        <tr>
            <td>`C`</td>
            <td>正則化パラメータです。正則化の強度はCに反比例します。厳密に正の値である必要があります。</td>
            <td>float</td>
            <td>(0.0, +Inf)</td>
            <td>1.0</td>
        </tr>
        <tr>
            <td>`kernel`</td>
            <td>アルゴリズムで使用されるカーネルタイプを指定します。指定がない場合、`rbf`が使用されます。callableが指定された場合、カーネル行列の事前計算に使用されます。</td>
            <td>string</td>
            <td>{'linear', 'poly', 'rbf', 'sigmoid'}</td>
            <td>'rbf'</td>
        </tr>
        <tr>
            <td>`degree`</td>
            <td>多項式カーネル関数（'poly'）の次数です。</td>
            <td>int</td>
            <td>[0, +Inf)</td>
            <td>3</td>
        </tr>
        <tr>
            <td>`gamma`</td>
            <td>'rbf'、'poly'、'sigmoid'のカーネル係数です。</td>
            <td>string or float</td>
            <td>{'scale', 'auto'} or (0.0, +Inf)</td>
            <td>'scale'</td>
        </tr>
        <tr>
            <td>`coef0`</td>
            <td>カーネル関数の独立項です。'poly'と'sigmoid'でのみ有効です。</td>
            <td>float</td>
            <td>(-Inf, +Inf)</td>
            <td>0.0</td>
        </tr>
        <tr>
            <td>`shrinking`</td>
            <td>縮小ヒューリスティックを使用するかどうかを指定します。</td>
            <td>bool</td>
            <td>True or  False</td>
            <td>True</td>
        </tr>
        <tr>
            <td>`tol` (tolerance)</td>
            <td>停止基準の許容値です。</td>
            <td>float</td>
            <td>[0.0, +Inf)</td>
            <td>1e-3</td>
        </tr>
        <tr>
            <td>`epsilon`</td>
            <td>epsilon-SVMモデルのイプシロンです。
実際の値からの距離がイプシロン以内に予測されたポイントに対してトレーニング損失関数でペナルティが関連付けられないepsilon-tubeを指定します。</td>
            <td>float</td>
            <td>[0, +Inf)</td>
            <td>0.1</td>
        </tr>
    </tbody>
    </table>

14. ### XGB回帰

    XGBoostは、高効率、柔軟性、移植性を実現するように設計された最適化された分散勾配ブースティングライブラリです。勾配ブースティングフレームワークの下で機械学習アルゴリズムを実装します。多くのデータサイエンスの問題を迅速かつ正確に解決するための並列ツリーブースティングを提供します。L1およびL2正則化を使用してポイントを予測し、高速にトレーニングします。

    #### ハイパーパラメータ:

    <table class="content-table quickml-content-table">
        <thead>
        <tr>
            <th class="w25p">パラメータ</th>
            <th class="w30p">説明</th>
            <th class="w10p">データ型</th>
            <th class="w25p">設定可能な値</th>
            <th class="w20p">デフォルト値</th>
        </tr>
        </thead>
        <tbody>
        <tr>
            <td>`booster`</td>
            <td>使用するブースターを決定します。</td>
            <td>string</td> 
            <td>{'gbtree&#39;, &#39;gblinear&#39;, &#39;dart&#39; }</td>
            <td>'gbtree'</td>
        </tr>
        <tr>
            <td>`learning_rate`</td>
            <td>過学習を防ぐために更新で使用されるステップサイズの縮小です。各ブースティングステップの後、新しい特徴量の重みを直接取得でき、etaは特徴量の重みを縮小させてブースティングプロセスをより保守的にします。</td>
            <td>float</td>
            <td>[0,1]</td>
            <td>0.1</td>
        </tr>
        <tr>
            <td>`n_estimators`
(推定器の数)</td>
            <td>フィットする木の数です。</td>
            <td>int</td>
            <td>[1, 500]</td>
            <td>100</td>
        </tr>
        <tr>
            <td>`objective`</td>
            <td>バイナリ分類のためのロジスティック回帰です。</td>
            <td>string</td>
            <td>以下の表の下に記載されています。</td>
            <td>&quot;reg:linear&quot;</td>
        </tr>
        <tr>
            <td>`subsample`</td>
            <td>サンプルの比率を制御します。</td>
            <td>int</td>
            <td>(0,1]</td>
            <td>1</td>
        </tr>
        <tr>
            <td>`max_depth`</td>
            <td>木の最大深度です。</td>
            <td>int</td>
            <td>(0, +Inf)</td>
            <td>3</td>
        </tr>
        <tr>
            <td>`max_delta_step`</td>
            <td>値が0に設定されている場合、制約はありません。正の値に設定すると、更新ステップをより保守的にするのに役立ちます。通常このパラメータは不要ですが、クラスが極端に不均衡な場合のロジスティック回帰に役立つ場合があります。</td>
            <td>int  or float</td>
            <td>[0, +Inf)</td>
            <td>0</td>
        </tr>
        <tr>
            <td>`colsample_bytree` (column sample by tree)</td>
            <td>列のランダムサンプルの割合です。</td>
            <td>float</td>
            <td>(0, 1]</td>
            <td>1.0</td>
        </tr>
        <tr>
            <td>`colsample_bylevel` (column sample by level)</td>
            <td>各レベルの列のサブサンプル比率です。サブサンプリングはツリーで新しい深度レベルに達するたびに1回発生します。列は現在のツリーに選択された列のセットからサブサンプリングされます。</td>
            <td>float</td>
            <td>(0, 1]</td>
            <td>1.0</td>
        </tr>
        <tr>
            <td>`min_child_weight`</td>
            <td>重みの最小合計です。</td>
            <td>int</td>
            <td>[0, +Inf)</td>
            <td>1</td>
        </tr>
        <tr>
            <td>`reg_alpha` (alpha)</td>
            <td>重みに対するL1正則化項です。</td>
            <td>float</td>
            <td>[0.0, +Inf)</td>
            <td>0.0</td>
        </tr>
        <tr>
            <td>`reg_lambda` (lambda)</td>
            <td>重みに対するL2正則化項です。</td>
            <td>float</td>
            <td>[0.0, +Inf)</td>
            <td>0.0</td>
        </tr>
        <tr>
            <td>`scale_pos_weight` (scale positive weight)</td>
            <td>正と負の重みのバランスを制御します。不均衡なクラスに有用です。</td>
            <td>int</td>
            <td>[0, +Inf)</td>
            <td>1</td>
        </tr>
    </tbody>
    </table>

    **"OBJECTIVE"パラメータの設定可能な値:**

    { "rank:pairwise", reg:tweedie, "reg:gamma", "reg:linear", "count:poisson"}