PyTorch

PyTorch は Kaggle の深層学習コンペにおける実装のデファクトスタンダードです。 基礎はチュートリアルで押さえ、学習と推論の高速化テクニックで実験の回転を上げます。

押さえどころ

• 基礎は公式チュートリアル（日本語翻訳版あり）を一巡するのが近道。『Deep Learning with PyTorch』日本語版など体系的に学べる書籍も複数出ている
• 学習・推論の高速化は実験回転数に直結する定番テーマ。DataLoader 設定・AMP 混合精度・量子化・プロファイリング（PyTorch Profiler）・分散学習（DDP・DeepSpeed）・TPU 活用（PyTorch/XLA）など「型」が確立しており、解説記事やサーベイが繰り返し公開されている
• Optimizer は SGD → Adam → AdamW → RAdam という系譜をたどり、近年は Muon など新しい手法も上位解法で使われ始めている。モデルの重みを混ぜ合わせる手法（Model soups・weight averaging アンサンブル）も継続的な研究テーマ
• フレームワーク自体も進化を続けている。PyTorch 2.0 での torch.compile 導入をはじめ、PyTorch Lightning・Accelerate・timm・TorchMetrics など学習ループやモデル活用を定型化する周辺ライブラリの充実が実装の生産性を支えている
• 事前学習済みモデルの活用は画像認識コンペ、Transformer 系の fine-tuning は自然言語処理コンペを参照

資料

基礎・チュートリアル・書籍

• PyTorchチュートリアル（日本語翻訳版）
• JAX/Flaxで学ぶディープラーニングの仕組み: JAX/Flax で CNN の実装を中心に解説する書籍。
• PyTorchで高精度・高性能のEfficientNetを利用する
• 深層ニューラルネットワークの高速化: 量子化・枝刈り・蒸留・モデルマージなどの高速化手法と理論を解説する書籍。
• TensorFlowとPyTorchを2022年時点で比較する記事: Google製の JAX への言及も含む比較記事。
• PyTorchで頻出のコードをまとめた記事: 乱数固定・データ準備・学習・評価などの定型コード集。
• PyTorchのコードをJAXに書き換える方法の紹介記事: 実行時間の比較も掲載する書き換えガイド。
• Microsoft「Learn PyTorch Fundamentals」入門講座: 画像認識・自然言語処理・音声分類を題材に Jupyter Notebook を実行できる講座。
• Kaggle GrandmasterのDieterさんによるPyTorch Lightning活用登壇: 開催中のコンペへの挑戦や初学者向けアドバイスも紹介。
• 『Deep Learning with PyTorch』日本語翻訳版出版: PyTorch の基礎から実践までを扱う 3 部構成の書籍。
• ディープラーニングの動向を6つの観点でまとめた動画: モデルの End-to-end 化・大規模化・汎用化などを図解で紹介。

高速化・最適化テクニック

• PyTorchでの学習・推論を高速化するコツ集
• ニューラルネットワークの量子化手法の紹介: モデル圧縮と高速化のための量子化手法の紹介資料。
• 深層モデルの高速化: 推論時間制限のあるコンペにも役立つ深層学習高速化のサーベイ資料。
• DeepSpeed: 深層学習の訓練と推論を劇的に高速化するフレームワーク: Microsoft 製の高速化フレームワークの日本語解説資料。
• 高速な深層学習モデルアーキテクチャ2023: 蒸留・量子化からアーキテクチャ別まで扱う高速化の調査資料。
• PyTorchのDataLoaderクラスの高速化を解説する記事: 処理の概要を紐解きながら高速化の勘所を紹介。
• PyTorchとJAXの速度比較記事: PyTorch 高速化の技法としても参考になる検証記事。
• PyTorch学習高速化ライブラリ「torch_ort.ORTModule」公開: 言語モデルのファインチューニングが 1.2〜1.3 倍程度高速化。
• 深層学習の効率化に関するブログ記事（Google研究者、第3弾）: 同著者によるサーベイ論文も公開。
• 複数GPUでのモデル学習手法比較記事（DP vs DDP）: Distributed Data Parallel を推奨する検証記事。
• 深層学習の学習効率化に関する網羅的サーベイ論文: モデリングだけでなくインフラ・ハードウェアの話題も扱う論文。
• PyTorch公式「Performance Tuning Guide」の検証記事: parameter.grad = None の効果などを検証する連載第 1 弾。
• NVIDIA GTC 2021のPyTorch関連セッションまとめ記事: 「PyTorch Performance Tuning Guide」など多数のセッションを紹介。
• PyTorchで大規模データセットを扱う「WebDataset」の紹介記事: TensorFlow の TFRecord に相当する仕組みの紹介。
• PyTorchでGPUの計算時間を計測する方法の紹介記事: 単純な time() 使用時の問題点も指摘。
• PyTorch Profilerの紹介記事（v1.8.1）: 学習所要時間を細かな単位で分析できる新機能。
• PyTorchでのTPU活用に関する記事（Hugging Face）: PyTorch/XLA を用いた TPU 活用の取り組みを紹介。
• PyTorch Lightning v1.0.0リリース: ホームページ改修と初のコミュニティイベント開催の告知も掲載。
• PyTorch Metric Learningの直近リリースまとめ: 新規導入された損失関数やアルゴリズムを紹介。
• ニューラルネットワークの量子化に関する解説記事: 高速化・軽量化に繋がる量子化の概要と利用可能なライブラリを紹介。
• PyTorch簡略化ライブラリ「Catalyst」がTPU対応（v20.08）: デバイス設定のみで TPU 利用に対応。
• ディープラーニングによる「マルチタスク学習」の解説動画: 複数機能を 1 モデルで学習させる手法の利点と課題を紹介。
• 3次元モデルを扱うライブラリ「PyTorch3D」公開（Facebook AI）: 短編動画でライブラリの特徴を紹介。

モデル・アーキテクチャ・損失関数研究

• TransformersでoptimizerのMuonを使う: コンペ上位解法でも使われる Optimizer「Muon」の使い方の紹介。
• 明日使えるかもしれないLoss Functionsのアイディアと実装: 回帰・分類の特徴的な損失関数を PyTorch 実装つきで解説する資料。
• モデルパラメータの算術: 重みの平均（Model soups）など深層学習モデルの重みの算術の解説記事。
• モデルの気持ちになって情報を与えよう: モデルに「情報を与える」観点でコンペ解法を読み解く Grandmaster の記事。
• AdamWにおける改善点をきちんと理解する: Adam からの変更点を中心に AdamW の論文を解説する記事。
• モデルの出力ではなく重みを混ぜ合わせるアンサンブル手法の論文: 推論時のモデルが 1 つで済む利点を持つ手法の提案論文。
• 回帰問題でのDropout利用に関する検証記事: 「Dropout と BatchNorm を併用しない方が良い」という話題を検証した記事。
• GPU計算ライブラリ「CuPy」v8.0.0公開: 行列演算高速化や Optuna を用いた最適化などを追加。
• PyTorchのパフォーマンス改善の紹介動画（ECCV 2020チュートリアル）: コンピュータビジョン国際会議でのチュートリアル発表。
• Keras風のインターフェースを持つPyTorchライブラリ「NeuralPy」: モデルの学習・推論を手軽に行えるライブラリ。
• PyTorchでTPUを使うライブラリ「PyTorch-XLA」の紹介記事: 簡単な使い方と所感をまとめた記事。
• 深層学習の最適化手法解説動画（SGD・Adamなど）: ミニバッチ勾配降下法から Adam までを体系的に紹介。
• 「Mixed Precision」の解説スライド: PyTorch での実験例と Kaggle Master の知見を交えた解説。
• Optimizer比較記事（SGD・Adam・AdamW・Adabound・RAdam）: 精度・収束速度・安定性を CIFAR10 実験で比較。

ライブラリ・フレームワーク・リリース情報

• PyTorch 2.0: Our next generation release: torch.compile を導入した PyTorch 2.0 の公式リリース告知。
• Introducing Keras 3.0: JAX・TensorFlow・PyTorch をバックエンドに使える Keras 3.0 の公開告知。
• PyTorch 1.11 リリース: TorchData・functorch などの新機能が追加。
• PyTorch Lightning の紹介資料: コード記述を簡略化する PyTorch Lightning の紹介。同内容のブログ記事も公開。
• PyTorch 1.10 リリース: 過学習抑制のための Label Smoothing などの機能を追加。
• PyTorch 1.9 リリース: torchtext v0.10.0、Transformers v4.7.0（PyTorch 1.9 対応）も同時公開。
• Lightning Flash v0.3 公開: PyTorch Lightning チームによる最先端モデルの手軽な実装ライブラリ。
• PyTorch Lightningの紹介記事: 基本的な理念と実現できる機能を端的にまとめた記事。
• PyTorchデバイス間処理ライブラリ「Accelerate」v0.3.0公開: TPU 利用時に便利な関数などを追加。
• C++深層学習ライブラリ「Flashlight」公開（Facebook）: 音声認識プロジェクトでの利用実績があるライブラリ。
• PyTorchの評価関数ライブラリ「TorchMetrics」の紹介記事: 独自の評価関数を定義する方法も解説。
• ソニーのOSS深層学習ライブラリ「Neural Network Libraries」YouTubeチャンネル開設: 論文解説や技術講座も予定した公式チャンネル。
• PyTorch Lightning v1.1公開: メモリを節約する sharded model training 機能をベータ実装。
• TensorFlow v2.4公開: Keras の mixed precision 機能が安定版として提供。
• torchvision v0.8.0の更新情報まとめ記事: PyTorch v1.7 リリースに伴うファイル直接入出力・前処理の GPU 利用に対応。
• TensorRTで推論を高速化する記事: 複数 GPU や混合精度学習を扱う関連記事も公開。
• 分散並列処理フレームワーク「Ray」v1.0.0公開: ハイパーパラメータ調整の Ray Tune など高機能なライブラリを提供。
• Uber「Generative Teaching Networks」論文の紹介記事: ニューラルネットワークで学習用データセットを生成する手法の紹介。
• PyTorchによるディープラーニング実装の学び方（3部作）: PyTorch コミュニティメンバによる実装学習法の連載。
• 「PyTorch Image Models（timm）」の紹介記事: EfficientNet や ResNeSt などを create_model で手軽に利用できるライブラリ。
• ニューラルネットワークの式の型・shape推論機能の開発記事（PFN）: print デバッグを回避できる shape 推論機能の紹介。
• Label Smoothingの効果を解説する記事（Google Brain）: 最終層への影響を可視化して議論。

関連概念

• 画像認識コンペ / 自然言語処理コンペ / 環境構築