自然言語処理コンペ

自然言語処理のコンペは、BERT/DeBERTa 系の fine-tuning を定跡としつつ、近年は LLM の活用（生成、データ拡張、RAG）へと重心が移っています。 コードコンペ形式が多く、推論の高速化や省メモリ化もスコアに直結します。技術動向やモデルやライブラリの一覧は LLM・自然言語処理の技術動向 を参照してください。

押さえどころ

• BERT 系 fine-tuning の定跡は、custom header（pooling、1D convolution、層別 [CLS] 連結）、層ごとの学習率設定、最終層付近の再初期化である（AI Shift の Tips 記事）。さらに敵対的学習（FGM や AWP、調査資料）や、back-translation、EDA（Easy Data Augmentation）によるデータ拡張、ラベルなしデータへの Pseudo Labeling も、上位解法で繰り返し登場する精度向上の定番手法となっている。
• 2023〜24 年の NLP コンペでは「LLM によるデータ生成や水増し」「DeBERTa-v3」「損失関数や Pooling の工夫」が主要な精度向上手段となった。金メダルと銀メダルの差はタスク固有の後処理やデータ処理にあり、汎用的な単一解法は存在しない。
• LLM コンペはエンジニアリング要素が強い。小規模なデータで LLM の出力を確認してから、プロンプト最適化、モデル選択、RAG へと段階的に取り組む（LLMコンペの戦い方）。
• 推論高速化には vLLM が定番である。量子化（AWQ）や Auto Prefix Caching の併用により、コードコンペの実行時間制限に対応できる。
• 2025 年にはエンコーダ型からデコーダ型 LLM への移行が明確になり、大型賞金コンペの優勝解法は Qwen 系が席巻した。評価環境内での学習（テスト時 fine-tuning）やタスクあたりの計算コストといった新しい制約も登場している（The State of Machine Learning Competitions 2025）。

資料

入門・基礎

• 大規模言語モデル (LLM) 入門: Kaggle Grandmaster による大学講義向けの LLM 入門資料。
• CMU Advanced NLP Fall 2024: カーネギーメロン大学の NLP 講義動画。講義資料も公開されている。
• LLM 大規模言語モデル講座 2023コンテンツ 公開ページ: 事前学習から強化学習まで扱う東大松尾研の講義資料。
• 大規模言語モデル: LLM の進展をまとめた 167 ページのチュートリアル資料。
• 大規模言語モデル入門: LLM の基礎から要約や質問応答モデルの作成までを扱う書籍。
• 情報処理学会関西支部2024年度定期講演会「自然言語処理と大規模言語モデルの基礎」: LLM 登場までの自然言語処理の潮流と課題を解説する講演資料。
• 大規模言語モデル (LLM) の技術と最新動向: LLM 構築の流れと技術背景を解説する資料。『大規模言語モデル入門Ⅱ』著者による。
• 言語処理100本ノック 2025
• 文書分類からはじめる自然言語処理入門 基本からBERTまで: 伝統的な手法から BERT まで幅広く扱う文書分類の書籍。
• 自然言語処理の基礎（深層学習編）: 深層学習に基づく自然言語処理の基礎知識と考え方をまとめた書籍。
• 最先端の自然言語処理ライブラリのためのTransformers（日本語版）: Hugging Face 共同創業者らによる Transformers 解説書の日本語版。
• NLPとVision-and-Languageの基礎・最新動向をまとめたチュートリアル: 自然言語処理と、画像と合わせて扱う領域への発展をまとめた資料。
• 深層学習と自然言語処理の研究動向（東大講座資料）: 深層学習と自然言語処理の研究動向を概説する講座資料。
• Transformers for Natural Language Processing（日本語訳書）: アーキテクチャ紹介から GPT-3 によるテキスト生成まで扱う書籍。
• 系列ラベリングの理論とJAX実装を扱う技術書（技術書典12）: 数式の展開も含めて系列ラベリングを解説する同人技術書。
• RAG開発の超入門【RaggleのQuickStart Pythonのソースコードあり】
• Kaggle自然言語処理コンペ向けローカルLLM活用入門
• 検索システム なぜ検索システムは欲しい情報を見つけられるのか、あるいはなぜ見つけられないのか: 検索の基本原理からランキング学習、検索拡張生成までを扱う書籍。
• 機械学習による検索ランキング改善ガイド: ランキング学習の導入と改善をハンズオンで学ぶ書籍。
• 30分で完全理解するTransformerの世界: サーベイ論文をもとに Transformer 機構を解説する記事。
• イントロダクション（Hugging Face Course 日本語訳）: Hugging Face 公式コースの日本語訳。東北大学の学生による翻訳プロジェクト。
• 情報検索100本ノック: 情報検索の課題を集めた「100 本ノック」形式の演習教材。
• 『深層学習』改訂第2版（講談社）発売告知: Transformer やグラフニューラルネットワークなどを大幅加筆した定番書籍の改訂版。
• Hugging Face入門講座公開: ライブラリの使い方を中心に基礎的な内容を紹介する公式講座。
• BERTによる日本語自然言語処理の書籍出版予告（Transformers活用）: 学習コードに PyTorch Lightning を利用する書籍の出版告知。
• Transformer解説資料（図解中心）: データの流れを図で説明する解説資料。
• Transformer機構の調査資料（基礎解説・画像認識応用）: 基礎的な解説から画像認識分野への応用までをまとめた資料。
• Transformers書籍のプレビュー版公開（O’Reilly）: Hugging Face 共同創設者 Thomas Wolf さんも共著者に名を連ねる書籍。
• Transformerの解説記事（RNNとの比較）: 応用例も含めて紹介する入門記事。
• 自然言語処理タスク向けGoogle Colabリンク集「Super Duper NLP Repo」: 41 ファイルの新規追加を含む紹介記事。
• 東大松尾研「Deep Learning基礎講座」招待講演資料（自然言語処理領域）: 深層学習前後の NLP 領域を概観し近年の研究課題までまとめた資料。
• BERTを中心にした自然言語処理モデル解説Podcast: 音声のみで端的に BERT を紹介する分かりやすい構成。
• Attention機構の解説動画: ニューラルネットワークの基本構造をわかりやすく解説する動画。
• 自然言語処理のEmbedding手法解説記事（USE・BERTなど）: 学習済みモデルからベクトルを取得するサンプルコードつき。
• BERTの特徴・Pre-training・モデル構造の可視化資料: transformers ライブラリの実装をもとにした丁寧な図解資料。

コンペの定跡

• Kaggleで学んだBERTをfine-tuningする際のTips②〜精度改善編〜: custom header、層別学習率、再初期化など、fine-tuning の精度改善テクニックを実験付きで解説。
• Kaggleで学んだBERTをfine-tuningする際のTips⑥〜LLMでも使える学習効率化編〜: LLM にも使える学習効率化手法を実験付きで紹介する連載第 6 回。
• BERT系モデルで文章をEmbeddingする際のTips: BERT による文章埋め込みの手法をコード付きで検証する記事。
• LLMとLoRAを用いたテキスト分類: LoRA で fine-tuning した GPT 系モデルの日本語分類性能の報告。
• BERT Classification Tutorial: 日本語データでの BERT 分類チュートリアル。事前学習済みモデルの性能比較つき。
• sparse_dot_topnを使った高速なcos類似度計算: 検索タスクのコサイン類似度計算を高速化する手法の紹介。コンペ優勝解法でも利用。
• Scikit-LLM: Sklearn Meets Large Language Models: scikit-learn 風のインターフェースで LLM テキスト分類ができるライブラリの紹介。
• 2023-24年（上期）のKaggleコンペから学ぶ、NLPコンペの精度の上げ方: 複数の NLP コンペ上位解法を横断し、精度向上の共通パターンを抽出した記事。
• LLMコンペの戦い方: LLM コンペの特徴と、初心者が段階的に取り組むためのロードマップ。
• vLLMを利用したLLM推論高速化テクニック: vLLM、量子化、Prefix Caching による推論高速化を実測値付きで紹介。
• 第4回 関東Kaggler会 [Training LLMs with Limited VRAM]: 限られた VRAM で LLM を学習する技法をまとめた Kaggle Grandmaster の発表資料。
• プロンプトエンジニアリングの手法、Kaggleでの使われ方 まとめ
• KaggleのNLPコンペで初手に使える可視化 〜BERTopicを用いた文書クラスタリングと可視化〜: NLP コンペの EDA を想定した BERTopic による文書可視化の紹介。
• 学習なし！遺伝的アルゴリズムと反省（？）でLLMを強化する話: 遺伝的アルゴリズムによるプロンプト最適化手法の紹介資料。
• LogitsProcessorZoo で LLM の出力をコントロールする: 多肢選択問題での出力候補の絞り込みなど、LLM の出力制御ライブラリの紹介。
• Kaggle Kernel で Gemma 2 × vLLM を動かす。: Kaggle 環境上で Gemma 2 を vLLM で高速に動かす方法の紹介。公開 Notebook つき。
• airllmを使ってT4で70B LLMの推論を実行してみる: 層ごとの推論で小規模 GPU でも大規模 LLM を動かすライブラリの紹介。
• Transformers高速化ライブラリvLLMのAsyncLLMEngineを利用した非同期高速文章生成: AIMO コンペの Discussion を題材にした vLLM の非同期生成の紹介。
• LLM性能改善の実践知 Kaggleでの学びを現場に活かす思考法: 『Kaggleではじめる大規模言語モデル入門』第 4 章と第 5 章を題材にした LLM 性能改善の発表資料。
• 【第3回】関東Kaggler会「NLPの変遷とNLPコンペの最新事情 〜進化する技術と変化する戦い方〜」
• 敵対的学習手法「FGM」「AWP」の解説記事: NLP コンペで頻出する敵対的学習手法を解説。
• 自然言語処理コンペの上位解法に登場する「敵対的学習」の調査資料: 過学習を防ぎモデルの頑健性を高める効果を整理した資料。
• Adversarial Training（敵対的学習）に関する近年の動向まとめ: 実験に用いたソースコードも公開する動向まとめ資料。
• Transformers ライブラリでの推論をONNX形式で高速化する記事: 約 2.4 倍の高速化を報告する検証記事。
• Transformers に強化学習モデル「Decision Transformer」が追加: チュートリアル用のソースコードと解説も公開。
• Data2vec: A General Framework for Self-supervised Learning in Speech, Vision, and Language 解説資料: 音声、画像、自然言語を同一枠組みで扱う自己教師あり学習手法の解説。
• 日本語データ拡張ライブラリ: 置換や削除といった処理で文を拡張するライブラリの紹介記事。
• 2021年のML/NLP研究動向まとめ（15の観点）: 何が起きたか、なぜ重要か、次は何かを観点別に整理した記事。
• Transformer モデルの仕組みを JAX/Flax で実装しながら解説してみる（パート１）: Transformer を JAX/Flax で実装しながら解説する連載記事。
• ファインチューンせずに高速に学習できる RAPIDS SVR (SVC) の紹介と MARC-ja の評価: Feedback Prize 上位解法で使われた RAPIDS SVR の紹介と日本語データでの検証。
• scikit-learnで5行でできる類似テキスト検索: scikit-learn による類似テキスト検索と GPU 活用の紹介記事。
• 【AI Shift/Kaggle Advent Calendar 2022】Kaggleで学んだBERTをfine-tuningする際のTips④〜Adversarial Training編〜: NLP コンペで使われる Adversarial Training の解説記事。
• 【AI Shift Advent Calendar 2022】SetFitによるfew-shotテキスト分類: 少量データで学習できる SetFit の紹介記事。Disaster Tweets で検証。
• 敵対学習手法(AWP)の論文解説と実装解説: NLP コンペで使われる敵対学習手法 AWP の解説と実装。
• Kaggleで学んだBERTをfine-tuningする際のTips⑤〜ラベルなしデータ活用編〜: Pseudo Labeling と追加事前学習によるラベルなしデータ活用の連載第 5 回。
• 2021年NLPコンペ上位解法に共通する手法・方針の解説記事: アンサンブルや外部データ利用などの事例をまとめた記事。
• FlaxでTPU上のBERTをファインチューニングする解説記事: Kaggle「CommonLit Readability Prize」を題材にした解説記事。
• CommonLit Readability Prizeを題材にしたBERT学習効率化Tips記事: 近年のコンペで使われる効率化手法を紹介。
• BERTファインチューニングでの過学習抑制Tips記事（CommonLit）: ドロップアウト関連の手法や議論を紹介。
• 学習済みTransformerモデルを用いたデータ拡張の記事: 隠された単語を予測する仕組みで新しい文を生成する手法の紹介。
• 日本語対応ライブラリ「AutoNLP」での文書分類記事: 線形回帰や BERT との性能比較も掲載。
• Transformer解説記事（Riiid実装例つき）: 丁寧な図解と、Kaggle「Riiid Answer Correctness Prediction」を題材にした実装例。
• NVIDIA Kaggle Grandmasterによる自然言語処理コンペ解説動画: Transformers ライブラリの解説と直近コンペの解法紹介。
• 日本語データ水増し手法の実装記事（EDA）: 英文向け手法「Easy Data Augmentation」を日本語に応用。
• Rustを用いた自然言語処理・機械学習の取り組み記事: ニュース本文から媒体を分類するタスクへの挑戦。
• NLPにおけるデータ水増し手法のまとめ記事: 語彙変換、翻訳、表層、交叉などを図示。
• BERT質問応答モデルのデータ前処理解説動画: RoBERTa などへの切り替え方法も紹介。
• 日本語BERTモデルをPyTorchでfine-tuningするチュートリアル: SentencePiece ベースモデルを題材にした各ステップの丁寧な解説。
• 「Real or Not? NLP with Disaster Tweets」BERTベースラインNotebook: PyTorch の transformers ライブラリによる Fine-tuning から予測までの一連の流れ。

関連概念

• LLM・自然言語処理の技術動向 / AI エージェント活用 / コードコンペティション / 画像認識コンペ / 音声コンペ / コンペ形式・技術動向の変遷