数理最適化コンペ
Kaggle の Santa コンペに代表される、機械学習ではなく組合せ最適化やヒューリスティックで競う形式です。
AtCoder のヒューリスティックコンテスト(AHC)と技術的な親和性が高い領域です。
押さえどころ
- Santa 系コンペは巡回セールスマン問題などの組合せ最適化が題材で、焼きなまし法やビームサーチなどのヒューリスティックと、ソルバー(混合整数計画など)の使い分けが軸になる。HACK TO THE FUTURE のような企業主催コンテストでは NN を使ったヒューリスティックが優勝する例もある(HTTF 2023 予選1位解法)
- AtCoder(特に AHC)での経験と練習がそのまま役立つ。入門には AtCoder Heuristic First-step の講義スライドが充実しており、レッドコーダーへのインタビュー記事も攻略の勘所を言語化している
- 資料の半数近くを Optuna 関連が占める。「重要なハイパーパラメータから順に調整する」という Kaggler の経験則を実装した LightGBM Tuner のような統合が広く使われ、Happywhale コンペ優勝解法など実戦での活用例も蓄積している
- SAM(Sharpness-Aware Minimization)や AdaBelief など、汎用の最適化アルゴリズム研究がモデル学習の精度向上に直結する場面もある
- 機械学習コンペとは評価や提出の性質が異なり、探索の実装力と計算資源の使い方が効く
資料
入門・基礎
AHC/Santa攻略
Optuna・ハイパーパラメータ最適化
最適化手法・アルゴリズム研究
関連概念