表データコンペ
表(テーブル)データのコンペは、GBDT を軸に特徴量エンジニアリングとバリデーション設計で競う、Kaggle で最も歴史のある形式です。
近年はニューラルネットワーク(TabM など)の併用や、Polars による高速なデータ処理も定着しつつあります。
押さえどころ
- 定跡は、分布シフトを意識した EDA(探索的データ分析)、多様なベースラインの迅速な構築、大量の特徴量生成、アンサンブルとスタッキング、疑似ラベルとシード平均、という流れで進む(The Kaggle Grandmasters Playbook)。
- 「高速な実験」と「慎重な検証」の両輪が GBDT(勾配ブースティング決定木)コンペの基本原則である。
- この分野の起点は XGBoost の原論文(KDD 2016)で、LightGBM や CatBoost を含め現在の定跡はこの延長線上にある(2026 年の KDD Test of Time Award を受賞)。
- GBDT の学習、推論、特徴量処理を GPU で高速化する手法(cuML でのスタッキング、RAPIDS FIL による推論高速化、GPUTreeSHAP、cuDF、XGBoost 3.0 の大規模データ対応など)は実務の定番手段として定着している。
- データ処理基盤は pandas から Polars への移行が進んでおり、
pl.Expr で変換処理を宣言的に管理する設計や cuDF・Polars on GPU による高速化も選択肢に加わっている。
- 特徴量エンジニアリングの基本技法である Target Encoding は、スムージングや p 値ベースの改良、GPU(cuML)実装など継続的に改善されている。
- 「深層学習 vs 決定木」は長年の論争テーマで、中規模の実データでは決定木系が依然優位という報告が多い(深層学習VS決定木:テーブルデータ分析の未来)。
- 近年は対立構図ではなく、GBDT 的なアンサンブルを NN で再現する TabM や、ゼロショット表データ基盤モデル(TabPFN、TabFM、NVIDIA Kumo Tabular)、さらに基盤モデルの前処理を LLM エージェントで改善する TabFM-Auto などの選択肢が広がっている。
- バリデーション設計とリーク防止は性能評価と検証を参照。
資料
GBDT・決定木のテクニック
特徴量エンジニアリング・前処理
Polars・pandas・データ処理基盤
表データ向けNN・基盤モデル・AutoML
検証・評価・可視化
書籍
その他
関連概念