自然言語処理コンペ

自然言語処理のコンペは、BERT/DeBERTa 系の fine-tuning を定跡としつつ、近年は LLM の活用（生成、データ拡張、RAG）へと重心が移っています。 コードコンペ形式が多く、推論の高速化や省メモリ化もスコアに直結します。技術動向やモデル・ライブラリの一覧は LLM・自然言語処理の技術動向 を参照してください。

押さえどころ

• BERT 系 fine-tuning の定跡は、custom header（pooling、1D convolution、層別 [CLS] 連結）、層ごとの学習率設定、最終層付近の再初期化（AI Shift の Tips 記事）。加えて敵対的学習（FGM・AWP、調査資料）や back-translation・EDA（Easy Data Augmentation）によるデータ拡張、ラベルなしデータへの Pseudo Labeling も上位解法で繰り返し登場する精度向上の定番手法
• 2023〜24 年の NLP コンペでは「LLM によるデータ生成や水増し」「DeBERTa-v3」「損失関数や Pooling の工夫」が主要な精度向上手段。金と銀の差はタスク固有の後処理やデータ処理にあり、普遍的な必勝法はない
• LLM コンペはエンジニアリング要素が強い。小さなデータで LLM の出力を確認してから、プロンプト最適化、モデル選択、RAG へ段階的に取り組む（LLMコンペの戦い方）
• 推論高速化は vLLM が定番。量子化（AWQ）や Auto Prefix Caching の併用で、コードコンペの実行時間制限に対応できる
• 2025 年にはエンコーダ型からデコーダ型 LLM への移行が明確になり、大型賞金コンペの優勝解法は Qwen 系が席巻した。評価環境内での学習（テスト時 fine-tuning）やタスクあたりの金銭コストといった新しい制約も登場している（The State of Machine Learning Competitions 2025）

資料

入門・基礎

• 大規模言語モデル (LLM) 入門: Kaggle Grandmaster による大学講義向けの LLM 入門資料。
• CMU Advanced NLP Fall 2024: カーネギーメロン大学の NLP 講義動画。講義資料も公開されている。
• LLM 大規模言語モデル講座 2023コンテンツ 公開ページ: 事前学習から強化学習まで扱う東大松尾研の講義資料。
• 大規模言語モデル: LLM の進展をまとめた 167 ページのチュートリアル資料。
• 大規模言語モデル入門: LLM の基礎から要約・質問応答モデルの作成までを扱う書籍。
• 情報処理学会関西支部2024年度定期講演会「自然言語処理と大規模言語モデルの基礎」: LLM 登場までの自然言語処理の潮流と課題を解説する講演資料。
• 大規模言語モデル (LLM) の技術と最新動向: LLM 構築の流れと技術背景を解説する資料。『大規模言語モデル入門Ⅱ』著者による。
• 言語処理100本ノック 2025
• 文書分類からはじめる自然言語処理入門 基本からBERTまで: 伝統的な手法から BERT まで幅広く扱う文書分類の書籍。
• 自然言語処理の基礎（深層学習編）: 深層学習に基づく自然言語処理の基礎知識・考え方をまとめた書籍。
• 最先端の自然言語処理ライブラリのためのTransformers（日本語版）: Hugging Face 共同創業者らによる Transformers 解説書の日本語版。
• NLPとVision-and-Languageの基礎・最新動向をまとめたチュートリアル: 自然言語処理と、画像と合わせて扱う領域への発展をまとめた資料。
• 深層学習と自然言語処理の研究動向（東大講座資料）: 深層学習と自然言語処理の研究動向を概説する講座資料。
• Transformers for Natural Language Processing（日本語訳書）: アーキテクチャ紹介から GPT-3 によるテキスト生成まで扱う書籍。
• 系列ラベリングの理論とJAX実装を扱う技術書（技術書典12）: 数式の展開も含めて系列ラベリングを解説する同人技術書。
• RAG開発の超入門【RaggleのQuickStart Pythonのソースコードあり】
• Kaggle自然言語処理コンペ向けローカルLLM活用入門
• 検索システム なぜ検索システムは欲しい情報を見つけられるのか、あるいはなぜ見つけられないのか: 検索の基本原理からランキング学習・検索拡張生成までを扱う書籍。
• 機械学習による検索ランキング改善ガイド: ランキング学習の導入と改善をハンズオンで学ぶ書籍。
• 30分で完全理解するTransformerの世界: サーベイ論文をもとに Transformer 機構を解説する記事。
• イントロダクション（Hugging Face Course 日本語訳）: Hugging Face 公式コースの日本語訳。東北大学の学生による翻訳プロジェクト。
• 情報検索100本ノック: 情報検索の課題を集めた「100 本ノック」形式の演習教材。
• 『深層学習』改訂第2版（講談社）発売告知: Transformer やグラフニューラルネットワークなどを大幅加筆した定番書籍の改訂版。
• Hugging Face入門講座公開: ライブラリの使い方を中心に基礎的な内容を紹介する公式講座。
• BERTによる日本語自然言語処理の書籍出版予告（Transformers活用）: 学習コードに PyTorch Lightning を利用する書籍の出版告知。
• Transformer解説資料（図解中心）: データの流れを図で説明する解説資料。
• Transformer機構の調査資料（基礎解説・画像認識応用）: 基礎的な解説から画像認識分野への応用までをまとめた資料。
• Transformers書籍のプレビュー版公開（O’Reilly）: Hugging Face 共同創設者 Thomas Wolf さんも共著者に名を連ねる書籍。
• Transformerの解説記事（RNNとの比較）: 応用例も含めて紹介する入門記事。
• 自然言語処理タスク向けGoogle Colabリンク集「Super Duper NLP Repo」: 41 ファイルの新規追加を含む紹介記事。
• 東大松尾研「Deep Learning基礎講座」招待講演資料（自然言語処理領域）: 深層学習前後の NLP 領域を概観し近年の研究課題までまとめた資料。
• BERTを中心にした自然言語処理モデル解説Podcast: 音声のみで端的に BERT を紹介する分かりやすい構成。
• Attention機構の解説動画: ニューラルネットワークの基本構造をわかりやすく解説する動画。
• 自然言語処理のEmbedding手法解説記事（USE・BERTなど）: 学習済みモデルからベクトルを取得するサンプルコードつき。
• BERTの特徴・Pre-training・モデル構造の可視化資料: transformers ライブラリの実装をもとにした丁寧な図解資料。

コンペの定跡

• Kaggleで学んだBERTをfine-tuningする際のTips②〜精度改善編〜: custom header・層別学習率・再初期化など、fine-tuning の精度改善テクニックを実験付きで解説。
• Kaggleで学んだBERTをfine-tuningする際のTips⑥〜LLMでも使える学習効率化編〜: LLM にも使える学習効率化手法を実験付きで紹介する連載第 6 回。
• BERT系モデルで文章をEmbeddingする際のTips: BERT による文章埋め込みの手法をコード付きで検証する記事。
• LLMとLoRAを用いたテキスト分類: LoRA で fine-tuning した GPT 系モデルの日本語分類性能の報告。
• BERT Classification Tutorial: 日本語データでの BERT 分類チュートリアル。事前学習済みモデルの性能比較つき。
• sparse_dot_topnを使った高速なcos類似度計算: 検索タスクのコサイン類似度計算を高速化する手法の紹介。コンペ優勝解法でも利用。
• Scikit-LLM: Sklearn Meets Large Language Models: scikit-learn 風のインターフェースで LLM テキスト分類ができるライブラリの紹介。
• 2023-24年（上期）のKaggleコンペから学ぶ、NLPコンペの精度の上げ方: 複数の NLP コンペ上位解法を横断し、精度向上の共通パターンを抽出した記事。
• LLMコンペの戦い方: LLM コンペの特徴と、初心者が段階的に取り組むためのロードマップ。
• vLLMを利用したLLM推論高速化テクニック: vLLM・量子化・Prefix Caching による推論高速化を実測値付きで紹介。
• 第4回 関東Kaggler会 [Training LLMs with Limited VRAM]: 限られた VRAM で LLM を学習する技法をまとめた Kaggle Grandmaster の発表資料。
• プロンプトエンジニアリングの手法、Kaggleでの使われ方 まとめ
• KaggleのNLPコンペで初手に使える可視化 〜BERTopicを用いた文書クラスタリングと可視化〜: NLP コンペの EDA を想定した BERTopic による文書可視化の紹介。
• 学習なし！遺伝的アルゴリズムと反省（？）でLLMを強化する話: 遺伝的アルゴリズムによるプロンプト最適化手法の紹介資料。
• LogitsProcessorZoo で LLM の出力をコントロールする: 多肢選択問題での出力候補の絞り込みなど、LLM の出力制御ライブラリの紹介。
• Kaggle Kernel で Gemma 2 × vLLM を動かす。: Kaggle 環境上で Gemma 2 を vLLM で高速に動かす方法の紹介。公開 Notebook つき。
• airllmを使ってT4で70B LLMの推論を実行してみる: 層ごとの推論で小規模 GPU でも大規模 LLM を動かすライブラリの紹介。
• Transformers高速化ライブラリvLLMのAsyncLLMEngineを利用した非同期高速文章生成: AIMO コンペの Discussion を題材にした vLLM の非同期生成の紹介。
• LLM性能改善の実践知 Kaggleでの学びを現場に活かす思考法: 『Kaggleではじめる大規模言語モデル入門』4・5 章を題材にした LLM 性能改善の発表資料。
• 【第3回】関東Kaggler会「NLPの変遷とNLPコンペの最新事情 〜進化する技術と変化する戦い方〜」
• 敵対的学習手法「FGM」「AWP」の解説記事: NLP コンペで頻出する敵対的学習手法を解説。
• Nishika 個人情報固有表現抽出データセット・モデル公開: 判例の個人情報自動マスキング向けに、商用利用可のデータセットとコンペ解法を基にしたモデル・ソースコードを公開。
• 自然言語処理コンペの上位解法に登場する「敵対的学習」の調査資料: 過学習を防ぎモデルの頑健性を高める効果を整理した資料。
• Adversarial Training（敵対的学習）に関する近年の動向まとめ: 実験に用いたソースコードも公開する動向まとめ資料。
• Transformers ライブラリでの推論をONNX形式で高速化する記事: 約 2.4 倍の高速化を報告する検証記事。
• Transformers に強化学習モデル「Decision Transformer」が追加: チュートリアル用のソースコードと解説も公開。
• Data2vec: A General Framework for Self-supervised Learning in Speech, Vision, and Language 解説資料: 音声・画像・自然言語を同一枠組みで扱う自己教師あり学習手法の解説。
• 日本語データ拡張ライブラリ: 置換や削除といった処理で文を拡張するライブラリの紹介記事。
• 2021年のML/NLP研究動向まとめ（15の観点）: 何が起きたか・なぜ重要か・次は何かを観点別に整理した記事。
• Transformer モデルの仕組みを JAX/Flax で実装しながら解説してみる（パート１）: Transformer を JAX/Flax で実装しながら解説する連載記事。
• ファインチューンせずに高速に学習できる RAPIDS SVR (SVC) の紹介と MARC-ja の評価: Feedback Prize 上位解法で使われた RAPIDS SVR の紹介と日本語データでの検証。
• scikit-learnで5行でできる類似テキスト検索: scikit-learn による類似テキスト検索と GPU 活用の紹介記事。
• 【AI Shift/Kaggle Advent Calendar 2022】Kaggleで学んだBERTをfine-tuningする際のTips④〜Adversarial Training編〜: NLP コンペで使われる Adversarial Training の解説記事。
• 【AI Shift Advent Calendar 2022】SetFitによるfew-shotテキスト分類: 少量データで学習できる SetFit の紹介記事。Disaster Tweets で検証。
• 敵対学習手法(AWP)の論文解説と実装解説: NLP コンペで使われる敵対学習手法 AWP の解説と実装。
• Kaggleで学んだBERTをfine-tuningする際のTips⑤〜ラベルなしデータ活用編〜: Pseudo Labeling と追加事前学習によるラベルなしデータ活用の連載第 5 回。
• 2021年NLPコンペ上位解法に共通する手法・方針の解説記事: アンサンブルや外部データ利用などの事例をまとめた記事。
• FlaxでTPU上のBERTをファインチューニングする解説記事: Kaggle「CommonLit Readability Prize」を題材にした解説記事。
• CommonLit Readability Prizeを題材にしたBERT学習効率化Tips記事: 近年のコンペで使われる効率化手法を紹介。
• BERTファインチューニングでの過学習抑制Tips記事（CommonLit）: ドロップアウト関連の手法や議論を紹介。
• 学習済みTransformerモデルを用いたデータ拡張の記事: 隠された単語を予測する仕組みで新しい文を生成する手法の紹介。
• 日本語対応ライブラリ「AutoNLP」での文書分類記事: 線形回帰・BERT との性能比較も掲載。
• Transformer解説記事（Riiid実装例つき）: 丁寧な図解と、Kaggle「Riiid Answer Correctness Prediction」を題材にした実装例。
• NVIDIA Kaggle Grandmasterによる自然言語処理コンペ解説動画: Transformers ライブラリの解説と直近コンペの解法紹介。
• 日本語データ水増し手法の実装記事（EDA）: 英文向け手法「Easy Data Augmentation」を日本語に応用。
• Rustを用いた自然言語処理・機械学習の取り組み記事: ニュース本文から媒体を分類するタスクへの挑戦。
• NLPにおけるデータ水増し手法のまとめ記事: 語彙変換・翻訳・表層・交叉などを図示。
• BERT質問応答モデルのデータ前処理解説動画: RoBERTa などへの切り替え方法も紹介。
• 日本語BERTモデルをPyTorchでfine-tuningするチュートリアル: SentencePiece ベースモデルを題材にした各ステップの丁寧な解説。
• 「Real or Not? NLP with Disaster Tweets」BERTベースラインNotebook: PyTorch の transformers ライブラリによる Fine-tuning から予測までの一連の流れ。

関連概念

• LLM・自然言語処理の技術動向 / AI エージェント活用 / コードコンペティション / 画像認識コンペ / 音声コンペ / コンペ形式・技術動向の変遷