1. 訓練/検証/テスト分割

1.1 三種のデータセットの役割

機械学習では、モデルの訓練と評価に同じデータセットを使用してはならないという基本原則が存在する。これは、モデルがデータを単純に暗記している可能性があり、未知のデータに対する予測能力（汎化性能）を正しく評価できないためである。この問題を解決するため、データセットは通常、訓練データ（Training Data）、検証データ（Validation Data）、テストデータ（Test Data）の三種類に分割される。

訓練データは、モデルのパラメータ（重み）を更新するために使用される。モデルはこのデータから特徴量と正解ラベルの関係性を学習する。検証データは、ハイパーパラメータのチューニングやモデル選択に用いられる。訓練データとは独立したデータで性能を評価することにより、訓練データへの過学習を検出できる。テストデータは、最終的なモデルの汎化性能を評価するために使用される。モデル開発プロセス全体を通じて一度も使用されていないデータであることが重要である。

1.2 分割比率の設計

データセットの分割比率は、データ量やモデルの複雑さに応じて調整する必要がある。一般的な指針として、以下のような比率が推奨されている。

小規模データセット（数千件未満）の場合、60:20:20や70:15:15の比率が採用されることが多い。訓練データが少なすぎるとモデルの学習が不十分となり、検証・テストデータが少なすぎると評価の統計的信頼性が低下する。大規模データセット（10,000件以上）では、80:10:10の比率が効果的である。100万件以上の超大規模データでは、検証・テストデータはそれぞれ10,000件程度あれば統計的に十分とされる。

1.3 分割方法と注意点

データ分割の最も基本的な方法はランダムサンプリングである。ただし、分類問題においてクラス分布に偏りがある場合、層化サンプリング（Stratified Sampling）を用いて各クラスの比率を保持する必要がある。これにより、訓練・検証・テストデータ間でクラス分布の差異による評価バイアスを防止できる。

時系列データを扱う場合、時間の順序を保持した分割（Out of Time Validation）が必須となる。訓練データは過去のデータ、検証・テストデータは将来のデータとなるように分割することで、実運用に近い評価が可能となる。また、グループ構造を持つデータ（例：同一患者の複数測定値）では、グループ単位での分割が必要である。

2. 交差検証（Cross-Validation）

2.1 交差検証の必要性

ホールドアウト法（単純な訓練・テスト分割）は実装が容易である一方、いくつかの課題を抱えている。データの一部が検証にしか使用されないためデータ効率が低い点、分割の偶然性により評価結果が不安定となる点、検証データへの過学習が発生しうる点などである。これらの課題を解決する手法として、交差検証（Cross-Validation）が広く採用されている。

2.2 K分割交差検証

K分割交差検証（K-Fold Cross-Validation）は、データセットをK個のサブセット（Fold）に分割し、K回の訓練・評価サイクルを実行する手法である。各サイクルでは、1つのFoldを検証用、残りのK-1個のFoldを訓練用として使用する。最終的な性能評価は、K回の評価結果の平均値として算出される。

K値の選択について、一般的にはK=5またはK=10が使用される。K値が大きいほど各訓練データが大きくなり、バイアスは減少するがバリアンスは増加する傾向がある。計算コストもK値に比例して増大するため、実用上のトレードオフが存在する。

2.3 その他の交差検証手法

Leave-One-Out交差検証（LOOCV）は、データ数nに対してn回の訓練・評価を行う手法である。各サイクルで1サンプルのみを検証用とし、残り全てを訓練用とする。データを最大限に活用できる一方、計算コストが高く、また評価結果のバリアンスが大きくなる傾向がある。データ数が極めて少ない場合（数十件程度）に適用される。

時系列交差検証（Time Series Cross-Validation）は、時間の順序を考慮した手法である。訓練データを徐々に拡大しながら、常に未来のデータで検証を行う。これにより、実運用での予測シナリオを忠実に再現した評価が可能となる。

3. 評価指標

3.1 分類タスクの評価指標

分類モデルの評価において、混同行列（Confusion Matrix）は基礎となる概念である。二値分類の場合、予測結果は真陽性（TP）、真陰性（TN）、偽陽性（FP）、偽陰性（FN）の4カテゴリに分類される。これらの値から各種評価指標が算出される。

正解率（Accuracy）は、全予測中の正解割合として定義される。計算式は Accuracy = (TP + TN) / (TP + TN + FP + FN) である。直感的に理解しやすい指標であるが、クラス不均衡データでは誤解を招きやすい。例えば、陽性サンプルが1%しかないデータでは、常に陰性と予測するモデルでも99%の正解率を達成してしまう。

適合率（Precision）は、陽性予測中の真の陽性割合であり、Precision = TP / (TP + FP) で計算される。偽陽性のコストが高い場合（例：スパム検出で正常メールを誤検出）に重視される。再現率（Recall、感度）は、実際の陽性中で正しく検出された割合であり、Recall = TP / (TP + FN) で計算される。偽陰性のコストが高い場合（例：がん検診の見落とし）に重視される。

F1スコアは、適合率と再現率の調和平均として定義され、F1 = 2 × Precision × Recall / (Precision + Recall) で計算される。両指標のバランスを取る必要がある場合に有用であり、クラス不均衡データでは正解率よりも適切な評価指標となる。

AUC-ROC（Area Under the Receiver Operating Characteristic Curve）は、分類閾値を変化させた際の真陽性率（TPR）と偽陽性率（FPR）のトレードオフを可視化したROC曲線の下部面積である。値は0から1の範囲を取り、1に近いほど優れたモデルである。0.5はランダム分類に相当する。閾値に依存しない評価が可能であり、異なるモデル間の比較に適している。

3.2 回帰タスクの評価指標

回帰モデルの評価は、予測値と実測値の誤差に基づいて行われる。平均二乗誤差（MSE: Mean Squared Error）は、最も広く使用される指標であり、MSE = (1/n) × Σ(yi - ŷi)² で計算される。誤差を二乗するため、大きな誤差に対してより大きなペナルティを与える特性を持つ。

二乗平均平方根誤差（RMSE: Root Mean Squared Error）は、MSEの平方根であり、予測値と同じ単位で解釈できる利点がある。例えば、売上予測でRMSE = 1000円であれば、平均して約1000円程度の予測誤差があることを意味する。

平均絶対誤差（MAE: Mean Absolute Error）は、MAE = (1/n) × Σ|yi - ŷi| で計算される。MSE/RMSEと比較して外れ値の影響を受けにくい特性がある。各誤差に同等の重みを与えるため、外れ値が含まれるデータや、大きな誤差と小さな誤差を同等に扱いたい場合に適している。

決定係数（R²: R-squared）は、モデルがデータの分散をどの程度説明できるかを示す指標である。R² = 1 - (残差平方和 / 全平方和) で計算され、通常0から1の値を取る。R² = 1は完全な適合、R² = 0は平均値予測と同等の性能を意味する。ただし、異なるデータセット間でのR²の直接比較は意味を持たないことに注意が必要である。

3.3 評価指標選択における注意点

評価指標の選択は、ビジネス要件やデータの特性に基づいて行う必要がある。単一の指標に依存するのではなく、複数の指標を組み合わせて総合的に評価することが推奨される。また、同一のデータセットで計算された指標のみが比較可能であり、異なるデータセット間での指標の直接比較は避けるべきである。

さらに、評価指標と実際のビジネス成果との関係を分析することも重要である。技術的に優れた指標値を示すモデルが、必ずしもビジネス価値を最大化するとは限らない。定期的なモデル性能のモニタリングと、必要に応じた再学習やチューニングの実施が、モデルの品質維持に不可欠である。