表データコンペ

表（テーブル）データのコンペは、GBDT を軸に特徴量エンジニアリングとバリデーション設計で競う、Kaggle で最も歴史のある形式です。 近年はニューラルネットワーク（TabM など）の併用や、Polars による高速なデータ処理も定着しつつあります。

押さえどころ

• 定跡は、分布シフトを意識した EDA、多様なベースラインの迅速な構築、大量の特徴量生成、ヒルクライミングによるアンサンブルとスタッキング、疑似ラベルとシード平均、という流れで進む。「高速な実験」と「慎重な検証」の両輪が原則（The Kaggle Grandmasters Playbook）
• GBDT の学習・推論・特徴量処理を GPU で高速化する話題（cuML でのスタッキング、RAPIDS FIL による推論高速化、GPUTreeSHAP、cuDF、XGBoost 3.0 の大規模データ対応など）は年を通じて繰り返し取り上げられ、実務での定番手段として定着してきた
• データ処理基盤は pandas から Polars への移行が進んでいる。特徴量の変換処理を pl.Expr で宣言的に定義し計算と切り離して管理する設計や、cuDF・Polars on GPU による高速化も選択肢に加わっている
• 特徴量エンジニアリングの中核技法である Target Encoding は、スムージングや p 値ベースの改良、GPU（cuML）実装など継続的に磨き込まれてきた定番技法
• 「深層学習 vs 決定木」は長年の論争テーマで、中規模の実データでは決定木系が依然優位という報告が多い（深層学習VS決定木：テーブルデータ分析の未来）。近年は対立構図ではなく、GBDT 的なアンサンブルを NN で再現する TabM や、特徴量設計・チューニング不要のゼロショット基盤モデル TabPFN/TabFM が新しい選択肢として登場している
• バリデーション設計とリーク防止は性能評価と検証を参照

資料

GBDT・決定木のテクニック

• The Kaggle Grandmasters Playbook: 7 Battle-Tested Modeling Techniques for Tabular Data: NVIDIA の Grandmaster 陣による表データコンペの定跡 7 選。EDA からアンサンブル・疑似ラベルまでの流れを GPU 高速化前提でまとめている。
• Grandmaster Pro Tip: Winning First Place in a Kaggle Competition with Stacking Using cuML: GPU（cuML）を使ったスタッキングで優勝した手法の解説。
• コンペで使える！？LightGBMで実装する３つの弱教師あり学習: 弱教師あり学習 3 設定の解き方と LightGBM 実装の紹介。
• LightGBM のランク学習における正規化の効果: lambdarank_norm の効果を検証し、正規化が学習の安定性と精度に寄与すると報告する記事。
• Train with Terabyte-Scale Datasets on a Single NVIDIA Grace Hopper Superchip Using XGBoost 3.0: XGBoost 3.0 で GPU による大規模データ学習を行う方法の紹介。
• LightGBMのパラメータ「extra_trees」の紹介記事: 過学習抑制効果のあるパラメータの解説記事。
• Python 3.10.0・CatBoost v1.0.0リリース: 両ライブラリの同時期リリースを紹介する記事。
• 画像向け「TTA」をテーブルデータに適用した論文（WiDS Datathon 2020 1位解法）: テーブルデータでの Test Time Augmentation の応用論文。
• GBDTのハイパーパラメータを図示しながら解説する記事: 調整方法についても紹介する記事。
• 決定木系アルゴリズム推論高速化ライブラリの解説記事（RAPIDS FIL）: 「Shopee - Price Match Guarantee」金メダルチームも利用したライブラリ。
• LightGBMの損失関数「Focal Loss」の活用記事: 不均衡データに有効な損失関数を数式・実装・実験結果付きで解説。
• LightGBMのデータ量とイテレーション回数の関係を調査した記事: 概ね線形な関係にあることを実験的に確認。
• PyTorchでCatBoostのカスタム損失関数を定義する方法の解説記事: 損失関数の違いによる出力の変化も考察。
• 勾配ブースティングの学習にTensorFlowの損失関数を使う方法の記事: GPU 対応による計算時間短縮の利点を紹介。
• XGBoost 1.3.0のGPU版SHAP「GPUTreeSHAP」の解説記事: GPU でモデルを解釈する手法の紹介。
• BigQuery上の機械学習機能「BQML」の検証資料: Kaggle「Otto Group Product Classification Challenge」のデータを用いた検証結果。
• CatBoost v0.25リリース: 特徴量重要度に基づく特徴選択機能や GPU 損失計算の変更を追加。
• CatBoostの「Uncertainty estimation」機能の紹介記事: コードと共に使い方を解説。
• CRANにLightGBMが登場: R 言語向け LightGBM パッケージの公開。
• 勾配ブースティングの解説資料（MIRU2020チュートリアル、173ページ）: 内部処理や近年の研究動向まで扱う重厚な資料。
• LightGBMの交差検証関数から個別モデルを取り出す機能が実装: 次期リリースで反映予定の新機能。
• XGBoostの交差検証でモデルを取り出す方法の紹介記事: LightGBM 版の関連記事も既に公開。
• CatBoostの推論の仕組みを解説する記事: ソースコードを追いながら推論過程を紐解く記事。
• NGBoostの解説記事: 最適化の流れの解説と独自実装の公開。
• 不均衡データへのDNN適用事例（失敗例含む）: コードと共に分かりやすく解説する記事。
• CatBoostのテキストカラム指定機能を試した記事: 生の文章カラムを指定してベンチマークを手早く作る方法。

特徴量エンジニアリング・前処理

• sklearn.preprocessing.TargetEncoder: sklearn v1.3 で追加された target encoding の公式ドキュメント。
• Python: scikit-learn の LabelEncoder を説明変数の変換に使うのは誤り: 未知の値に対応できる OrdinalEncoder の正しい使い方の解説。
• Target Encoding のスムージングについて: Target Encoding のスムージング処理を論文の記載をもとに解説する記事。
• テーブルデータを扱う際の特徴量管理の方法を考察する記事: 数値かカテゴリかの情報も管理する方法を紹介。
• 不均衡データ分類に関する応用例・解説・手法のリンク集: 人工知能学会誌に掲載されたリンク集記事。
• p値を使ったTarget Encodingの方法紹介記事: atmaCup のデータで性能向上を確認した検証記事。
• 特徴量エンジニアリングライブラリ「xfeat」の紹介記事: 具体的な使い方をコードとともに解説。
• クリック予測問題を題材にしたデータ分析インターン教材: データ可視化や過学習への対応など実践的な内容を扱う教材。
• 決定境界付近のサンプル重み調整による不均衡データ対応論文の解説記事: 通常学習後に特殊な損失でファインチューニングする手法を紹介。
• テーブルコンペ頻出の特徴量エンジニアリング技法まとめ記事: 数値データとカテゴリデータの処理方法を中心に紹介。
• 欠損データ補完手法「MCFlow」の解説資料: 欠損補完とネットワーク更新を繰り返す枠組みの提案。
• scikit-learn v1.0.0の更新内容紹介記事: キーワード引数の強制や可視化用クラスなどを抜粋して紹介。
• 特徴量生成ライブラリ「Featuretools」v1.0.0公開: テーブル形式データセットに対する自動特徴量生成ライブラリ。
• Long-tail learning via logit adjustment 紹介資料（ICLR 2021）: 不均衡データの分類問題に対応する手法の議論。
• 自然言語列を含むテーブルデータの特徴量エンジニアリング技法まとめ記事: 具体的な実装とともに技法を紹介。
• 小売予測のベストプラクティス記事（Instacart 2位解法者ら共著）: 具体的なコードと共にまとめたベストプラクティス。
• 順序関係を持つクラス分類「label distribution learning」の紹介記事: 正解ラベルを中心とした正規分布でラベルのゆらぎを考慮する手法。
• xfeatで集約特徴量を自作関数で作る方法の紹介記事: 生成後のカラム名を制御する方法も解説。
• KaggleのNotebooks環境で使えるNVIDIA製ライブラリ「NVTabular」の紹介記事: GPU でテーブルデータを処理する機能を紹介。
• Amazon製欠損値補完ライブラリ「DataWig」の紹介記事: 深層学習を用いて欠損値を予測するライブラリの紹介。
• xfeatの紹介記事（Optuna連携）: Optuna と連携した特徴量探索など各機能の使い方をまとめた記事。
• cuMLでTarget Encodingが利用可能に: GPU による高速化を実現する RAPIDS.AI の機能追加。
• 特徴選択ライブラリ「OptimalFlow」の紹介記事: インストールから実行までの最低限のコードを解説。
• 「Advanced kNN」の提案論文: 学習データにないクラスを “unknown” と判定する機構を備えた kNN の拡張。
• Pseudo Labelingを拡張したGoogleの論文の解説記事: 予測 test データを追加する際にノイズを加え頑健性を高める工夫を紹介。

Polars・pandas・データ処理基盤

• polars.Exprを使った特徴量管理: 特徴量の変換処理を pl.Expr のコレクションとして一元管理し、必要な特徴量を柔軟に組み合わせる設計の提案。
• pandasでよくやる操作、Polarsでどうやるの？（Polars: 1.12.0）
• Polars を Kaggle コンペで使ってみた(LMSYS Chatbot Arena)
• プロダクトのコードをpandasからPolarsへ書き換えた話
• polars 1.1.0以降の使える新機能
• Python: Polars で各種エンコーダを実装したライブラリ「Shirokumas」を作った: Target Encoding などを Polars でまとめた特徴量エンジニアリングライブラリの紹介。
• Polars, 旬の13のお役立ち機能: Polars の便利機能 13 選の紹介記事。
• pandas vs polars vs cudf 速度比較: 定番 3 ライブラリの処理速度を比較した記事。
• 表形式データライブラリの比較検証（PyCon JP 2022）: 大規模な表形式データを処理するライブラリの比較資料。
• RAPIDS が pip でインストール可能に: GPU 機械学習ライブラリ RAPIDS の pip 対応の公式告知。
• Pandas[GPU] vs Polars[CPU] vs Polars[GPU]: 表データ処理ライブラリの速度を GPU の有無を含めて比較した記事。
• Announcing Polars 1.0: Polars の Python 版 v1.0 公開の公式発表。設計刷新と GPU 高速化の展望つき。
• RAPIDS cuDF Instantly Accelerates pandas up to 50x on Google Colab: GPU 版 pandas「cuDF」が Colab に組み込まれた発表。
• Accelerating Polars DataFrames: NVIDIA との連携による Polars の GPU 高速化の発表。
• PolarsとPanderaで実現する高速でロバストなデータ処理: 高速処理の Polars とデータ検証の Pandera を組み合わせる発表資料。
• Pandasの「遅くない書き方」まとめ記事: 複数の観点で高速化 Tips を紹介する記事。
• 「Pandas」に代わるRust製ライブラリ「Pypolars」の紹介記事: 結合などの速度で優位性を示す実験結果。
• Julia言語とPythonを併用したデータ処理方法の提案記事: Pandas 相当の Julia ライブラリ「DataFrames.jl」などを紹介。
• GPUデータ処理ライブラリ「cuDF」の紹介記事: Pandas との違いや注意点を具体的なコードと共に紹介。
• SageMaker上でcuDF・cuMLを用いた前処理記事: 必要な場合のみ GPU を利用する計算資源の使い分けを紹介。
• Pandasを効率的に学ぶための問題集: データ集計・抽出・可視化など基本操作を扱う演習問題集。
• Pandas・NumPyのテスト用モジュール紹介資料（PyConJP 2020）: 許容誤差の観点も含めたテストの必要性を解説。
• TensorFlow NumPy高速化モジュール: GPU・TPU で NumPy を高速化するモジュール。
• Julia言語をKaggle Notebook上で実行するチュートリアル: 科学計算に秀でた Julia の Kaggle での利用方法を紹介。
• Pandasの主要操作をまとめた記事: 網羅性の高い操作一覧で抜け漏れ確認に使える記事。

表データ向けNN・基盤モデル・AutoML

• Pytorch LightningでTabM学習・予測: 表データ向け NN「TabM」を PyTorch Lightning で実装する手順。複数モデル出力の平均化など実装上の要点を解説。
• Introducing TabFM: A zero-shot foundation model for tabular data: Google Research による表データ向け基盤モデルの紹介。ゼロショットで分類・回帰の予測を生成する。
• Exploring TabPFN: A Foundation Model Built for Tabular Data: 表データ向け基盤モデル TabPFN の紹介記事。TabPFN-2.5 までの発展を解説。
• Accurate predictions on small data with a tabular foundation model: TabPFN を提案した Nature 掲載論文。
• 深層学習VS決定木：テーブルデータ分析の未来: 表データで決定木系が深層学習を上回る理由を論じた論文の解説記事。
• テーブルデータ用ニューラルネットワークは勾配ブースティング木にどこまで迫れるのか？（本編）: LightGBM と NN 系モデルを実データで比較検証した記事。
• 最新のテーブルデータ向けNNモデルをまとめてみた: ベンチマーク TabArena 上位を中心に表データ向け NN を紹介する記事。
• テーブル形式のデータセットに対する決定木と深層学習の性能比較論文: 決定木を基にした手法と深層学習手法を比較して議論する論文。
• TabNetのハイパーパラメータ調整方法まとめ: Kaggle での事例や元論文の記述に基づく調整方法の解説。
• 表形式データに対する深層学習の検証記事: 比較用ライブラリを開発・公開した検証記事。
• 表形式の複数データセットでXGBoostと深層学習を比較した研究: XGBoost の優位性とアンサンブルによる性能向上を確認。
• テーブルデータにVariational Autoencoderを適用する記事: PyTorch での実装を公開。
• テーブルデータへのTransformer利用方法の紹介記事（Riiid実装）: Kaggle「Riiid Answer Correctness Prediction」を題材に具体的な実装を公開。
• TabTransformerの提案論文: カテゴリ変数の処理に Transformer 層を用い、勾配ブースティングに匹敵する性能を報告。
• TabNetの解説記事: 論文の概説と使い方を紹介する記事。
• TabNetのPyTorch実装講演: pip install で導入できる、sklearn 風インターフェースの実装解説。
• AutoML「AutoGluon-Tabular」をTitanicデータで試す記事: 前処理不要でファイルパスを渡すだけの手軽さを紹介。
• ハイパーパラメータ探索ツール「keras-tuner」の紹介記事: Keras との連携面での優位性を紹介。

検証・評価・可視化

• Ensemble Metrics: アンサンブルの強み・弱みを精度・多様性・情報損失の観点で要因分析するライブラリ。
• 人工知能学会２０２３ランチョンセミナー「アンサンブル学習における基礎理論の構築」: アンサンブルの強み・弱みを分析できる理論の提案資料。
• テーブル形式データセットの探索的データ分析の方法を紹介する記事: さまざまな切り口での集計・可視化の実践例。
• アンサンブル技法まとめ記事（Linear Quiz Blending / Netflix Blending）: 数式を交えたアンサンブル手法の解説。
• 大規模高次元データ向け可視化手法「ShapeVis」の提案論文: t-SNE・UMAP と比較し可視化品質とスケーラビリティを議論。
• 次元削減手法「PHATE」の解説記事: pip install phate で手軽に導入できる手法の紹介。

書籍

• 実践Data Scienceシリーズ Pythonではじめる データ分析のための前処理入門: 前処理からモデリングまでを体系的に解説する書籍。
• LightGBM予測モデル実装ハンドブック: LightGBM の実装を体系的に扱うハンドブック書籍。
• 事例で学ぶ特徴量エンジニアリング: NLP・画像・時系列など 5 つの実例で特徴量エンジニアリングを学ぶ書籍。
• 1月新刊情報『SQLではじめるデータ分析』: SQL による前処理・時系列・異常検知などを扱う書籍。
• 評価指標入門〜データサイエンスとビジネスをつなぐ架け橋: 評価指標を軸にビジネス課題をデータサイエンスの問題に落とし込む書籍。
• Optunaによるブラックボックス最適化: Optuna 開発者らによるハイパーパラメータ最適化の書籍。
• 『Rユーザのためのtidymodels[実践]入門』という本が出ます。: R 言語の機械学習ライブラリ tidymodels を扱う日本語初の書籍。
• 改訂新版 前処理大全〜SQL/pandas/Polars実践テクニック: Polars を採用した『前処理大全』の改訂新版。
• 『データサイエンス100本ノック（構造化データ加工編）』書籍: SQL・Python・R の 3 言語に対応した演習書籍。
• データサイエンティスト協会「データサイエンス100本ノック（構造化データ加工編）」公開: SQL・Python・R 対応で解答 Notebook も用意。

その他

• カルマンフィルタのアルゴリズム概要とパラメータ影響の解説資料: Kaggle「Indoor Location & Navigation」などで利用される手法の解説。
• 「Tabular Playground Series」の紹介記事: Titanic に代わる月次開催の練習用コンペを紹介する記事。
• Tabular Playground Series 2021年4月分開始: Titanic データに GAN を用いて生成したデータセットを使用。
• 「Coding habits for data scientists」要点紹介記事: Notebook からスクリプトへの移行など実践的なテクニックを紹介。
• Gauss rank transformationをRAPIDSで高速化する解説記事: cuDF・CuPy を用いた GPU 高速化の手法を紹介。

関連概念

• 時系列予測コンペ / 性能評価と検証 / 実験管理 / コンペ形式・技術動向の変遷