LLM・自然言語処理の技術動向

LLM や自然言語処理分野のモデル公開、日本語リソース、ライブラリ、研究サーベイの動向をまとめます。 コンペでの実践的な戦い方や定跡は 自然言語処理コンペ を参照してください。

押さえどころ

• 日本語 LLM や埋め込みモデルの担い手は、2020 年前後の研究機関による事前学習モデル公開（東北大 BERT、早稲田大 RoBERTa や GPT-2、NICT の BERT など）から、2022〜23 年ごろの企業発 LLM（PLaMo、ELYZA、Swallow）へ、そして 2024 年以降は TinySwallow、日本語 StaticEmbedding、日本語リランカーのような軽量かつ高速なモデルへと重心が移ってきている。
• 文埋め込みや検索は一貫した研究テーマであり、対照学習ベースの SimCSE や DiffCSE（2021 年）から、LLM の合成データで埋め込みを改善する e5-mistral（Improving Text Embeddings with Large Language Models）を経て、2025〜26 年は軽量リランカーやベクトル検索の実用化に関する知見が増えている。また、テキスト単体に限らず、EmbeddingGemma 2 のように画像とテキストを統合して扱えるオープンで軽量なマルチモーダル埋め込みモデルも登場している。さらに、生成 LLM だけでなくエンコーダモデルの事前学習手法も刷新が続いており、ModernBERT や UltraBERT のように分類と検索の双方で性能上限を引き上げるアーキテクチャの提案が継続している。
• Hugging Face Transformers のメジャーバージョンの変遷（v2.9〜v5）はそのままアーキテクチャ普及の年表になっており、Wav2Vec2（v4.3）、Swin Transformer（v4.16）、ResNet（v4.18）、OPT（v4.19）のように、新アーキテクチャの追加時期をバージョン番号から追える。
• モデルの大規模化（OPT-175B の公開やスケーリング則）と、その後の効率化（LoRA や LoRA-Pro、モデルマージ、TAID による知識蒸留を用いた TinySwallow）は表裏の関係にあり、公開されるモデルの重心は年々「大きく強く」から「小さく速く実用的」に移っている。
• Transformer 一辺倒ではなく、状態空間モデル Mamba のような計算コストを抑える代替アーキテクチャの解説記事も資料に含まれる。
• 事前学習・事後学習による単一モデルの性能向上だけでなく、推論時計算（Test-Time Scaling）やループ、ハーネス、再帰的自己改善（RSI）を組み合わせた「思考するシステム」への展開など、システム全体として知能を高める枠組みへの関心も高まっている（現代AI入門）。

資料

モデル・技術動向

• UltraBERT: Beyond the Limit of BERT Pre-Training: 分類と検索の両タスクで最良水準の性能を報告するアーキテクチャの提案論文。ModernBERT との比較を含めて事前学習の改善を論じている。
• EmbeddingGemma 2: an open, lightweight multimodal embedding model: Google が公開した軽量なオープンマルチモーダル埋め込みモデルの紹介。Hugging Face でもモデルが公開されている。
• Jevはどこで使うべきか？ LLM・機械学習・ルールベースとの使い分け: 自由文生成を省き定義済みの選択肢と確信度のみを高速かつ低コストに返す意思決定特化モデル「Jev」（System One Model）を、汎用 LLM、従来の機械学習モデル、ルールベースと比較して適材適所を整理した記事。
• Gemini 3.6 Flash, 3.5 Flash-Lite, 3.5 Flash Cyber の追加: Gemini ファミリーに効率型のフラグシップ、最速・最安の軽量版、セキュリティ特化版の 3 つを追加した発表。エージェントを多数動かす用途を見据えた品揃えになっている。
• 超小型な多言語ベクトル検索モデル Bekko Embedding を公開: アクティブパラメータ 8M、25M という小規模の多言語埋め込みモデルの公開記事。mmBERT-small の層の刈り込み、埋め込みテーブルの量子化、Matryoshka 学習によるモデル縮小手法と、CPU やブラウザでの実行速度を報告している。

• HAKARI-Bench - 実運用視点での情報検索モデル評価ベンチマーク: 検索モデルを精度だけで選べない、という問題意識から作られたベンチマークの紹介資料。推論速度、アクティブパラメータ、ベクトル次元、量子化の影響まで含め、多言語 35 ベンチマークを横断して測定する。

• Introducing LFM2.5: The Next Generation of On-Device AI: 日本語特化モデルや視覚言語モデルを含む小規模モデル群 LFM2.5 の公開告知。
• LoRAの進化：基礎から最新のLoRA-Proまで: fine-tuning で頻出の LoRA の基礎と研究動向のまとめ。
• [輪講資料] LoRA: Low-Rank Adaptation of Large Language Models: LoRA の原論文の解説資料。NLP の変遷の紹介つき。
• T5Gemma: A new collection of encoder-decoder Gemma models: デコーダ LLM の成果を還元したエンコーダ・デコーダモデル群の公開告知。
• Evolutionary Optimization of Model Merging Recipes (2024/04/17, NLPコロキウム): 進化的アルゴリズムでモデルの重みを混ぜる手法の発表資料。
• Deep State Space Models 101 / Mamba: 長系列処理に秀でたアーキテクチャ Mamba の解説資料。
• DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing: NLP コンペ頻出モデル DeBERTaV3 の論文解説記事。
• Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem: 単語を 1 次元に埋め込む手法の論文解説。Kaggle での活用例に言及。
• 世界最高精度を達成した言語モデルLUKEの論文を徹底解説: 言語モデル LUKE の論文解説。日本語 large モデル公開時の記事。
• hppRC / simple-simcse: 文埋め込み手法 SimCSE の再現実装。複数モデルでの性能比較つき。
• BERTを用いた教師なし文表現の発展: SimCSE の発展系 DiffCSE の紹介記事。
• Improving Text Embeddings with Large Language Models: LLM の合成データで埋め込みモデルを改善する論文。e5-mistral モデル公開つき。
• Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem（NAACL 2022 発表資料）: 高次元の単語埋め込みを巡回セールスマン問題で 1 次元に変換する手法の発表資料。
• Transformerの汎用的な性能向上に向けた方法論: 位置表現や注意機構、追試結果に言及した資料。
• OPT-175B 公開: Meta AI による 175B パラメータの言語モデル公開。構築の試行錯誤の過程も公開。
• Data2vec: 音声・画像・自然言語を統一的に扱う自己教師あり学習の解説記事（Meta AI公式）: 事前学習済みモデルも公開。
• マルチタスク学習で有用なタスクを選ぶ手法の解説記事（NeurIPS 2021）: 「Efficiently Identifying Task Groupings for Multi-Task Learning」の紹介。
• 教師なし文表現作成手法「SimCSE」の解説記事: 日本語ニュース記事での実験結果も掲載。
• 新たな言語モデル「FLAN」の発表（Google Research）: 実験で GPT-3 を上回る性能を報告。
• BERT推論高速化手法の検証記事（量子化・蒸留・剪定）: 詳細な実験結果と共に紹介する記事。
• SparseBERT: Rethinking the Importance Analysis in Self-attention 解説記事（ICML2021）: BERT の注意機構の軽量化に取り組む論文の解説。
• Transformerのサーベイ論文（体系的分類）: Transformer の解説と派生系の分類方法を提唱する論文。
• Transformerの一種「Big Bird」の紹介記事: 長文を扱うための注意機構の工夫を解説。
• Transformerのスケーリング則を主張する論文の紹介: パラメータ数、データセットサイズ、計算予算の冪乗則を論じる OpenAI の論文。同時期に DALL·E も公開。
• BERTOverflow公開（StackOverflowデータで事前学習）: ACL 2020 採択論文が提案するモデルの公開。
• Googleの多言語埋め込みモデル「LaBSE」に関する記事: 文章分類問題での性能を検証。Universal Sentence Encoder との比較記事も別途公開。
• AMBERTの解説記事（バイトダンス）: 2 種類の粒度の tokenizer を使い分ける BERT 拡張モデルの解説。
• Quoraの重複質問特定を題材にした論文: tf-idf ベクトル化と XGBoost や深層学習など、Kaggle でも定番の手法を検証。
• wikipediaの文化差異を捉えるBERT fine-tuning論文: 逆翻訳によるデータ拡張を用いた手法の紹介。

日本語モデル・リソース

• とても小さく速く実用的な日本語リランカー japanese-reranker-tiny と xsmall v2 を公開: 軽量な日本語リランカーの公開告知。性能と推論速度の比較つき。
• 単文字トークナイザ版日本語ModernBERTリリース: 文字単位トークナイザの日本語 ModernBERT の公開告知。
• sbintuitions/modernbert-ja-130m: 従来の最良水準を 3 分の 1 のサイズで達成した日本語 ModernBERT モデル。
• 新手法「TAID」を用いた小規模日本語言語モデル「TinySwallow-1.5B」の公開: 知識蒸留の新手法 TAID による小規模日本語 LLM の公開告知。
• 100倍速で実用的な文章ベクトルを作れる、日本語 StaticEmbedding モデルを公開: CPU でも高速な日本語文章ベクトルモデルの紹介。性能比較とコードつき。
• 日本語版 Gemma 2 2B を公開: Gemma Developer Day in Tokyo で発表された日本語版 Gemma 2 の公開告知。
• 日本語テキスト埋め込みベンチマークJMTEBの構築: 6 タスク、16 データセットの日本語埋め込みベンチマークの紹介。
• ku-nlp/deberta-v3-base-japanese: 日本語、英語、コードで事前学習された DeBERTa v3 モデルの公開。
• Swallow: 公開当時に日本語最高性能を報告した東工大と産総研による日本語 LLM。
• izumi-lab/deberta-v2-base-japanese: 日本語で事前学習された DeBERTa v2 モデル（base / small）。
• 日英2言語対応の大規模言語モデルPLaMo-13Bを研究・商用利用可能なオープンソースソフトウェアライセンスで公開: PFN による日英 LLM の公開告知。
• Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました: Llama 2 を日本語で追加事前学習したモデルの公開告知。
• 日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦する: クイズデータセットで日本語 LLM の性能と fine-tuning 費用を検証した記事。
• サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開: 商用利用可能な日本語 LLM（OpenCALM）の公開告知。同日に rinna も 36 億パラメータのモデルを公開。
• cl-tohoku / bert-japanese: 東北大学の日本語 BERT。コンペの定番モデルとして広く使われた。
• 日本語T5モデルの公開: レトリバによる 10 種の日本語 T5 モデルの公開告知。
• roberta-long-japanese: 512 トークンを超える長系列を扱える日本語 RoBERTa モデル。
• huggingface.co/abeja: ABEJA が構築した日本語大規模言語モデルの公開。
• ku-nlp/deberta-v2-large-japanese: 京大黒橋研による日本語 DeBERTa V2（large）。当時最大級のコーパスで学習。
• ku-nlp/deberta-v2-base-japanese: 同モデルの base / tiny サイズ版。
• ABEJAによる日本語版大規模言語モデル構築プロジェクト: 一部モデルの一般公開を予定した日本語 LLM 構築の発表。
• 日本語言語理解ベンチマーク「JGLUE」公開: 日本語の事前学習済みモデルの性能比較も掲載。
• deberta-large-japanese-aozora: 青空文庫の文章などで事前学習された、日本語では珍しい DeBERTa のモデル。
• 日本語版 RoBERTa Large モデル公開: 形態素解析器 Juman++ での分かち書きが必要な日本語 RoBERTa。
• 日本語Wikipediaで事前学習されたRoBERTa・GPT-2公開: 形態素解析に Juman++ を利用する早稲田大学研究グループのモデル。
• 日本語自然言語処理ライブラリ「GiNZA」開発者による日本語言語モデル構築の取り組み資料: 「WAP NLP Tech Talk #3 With GiNZA」での発表資料。
• 東北大学の日本語BERT largeがTransformersに追加: 従来の BERT base より層数の多いモデルが利用可能に。
• 日本語Wikipedia・青空文庫で事前学習されたBERTモデル公開（NICT）: 情報通信研究機構による日本語 BERT モデルの公開。
• 日本語word2vecモデルの評価記事: 複数の学習済みモデルを日本語データセットで比較評価。

ライブラリ・ツール

• Transformers v5.0.0rc0: Transformers ライブラリ 5 年ぶりのメジャー更新のプレビュー版リリースノート。
• fast-bunkai: 日本語文境界判定器 Bunkai の高速版。Rust 実装で大幅な高速化を実現。
• Hugging Faceでload_dataset()できなくなったときの対処: datasets ライブラリの仕様変更で発生するエラーへの対処記事。
• Training and Finetuning Embedding Models with Sentence Transformers v3: 文埋め込みライブラリ v3 での学習方法の解説記事。
• KWJA: 形態素解析や構文解析などを統一インターフェースで扱う日本語処理ライブラリ。
• 近似最近傍探索ライブラリVoyagerで類似単語検索を試す: Spotify 公開の ANN ライブラリを Annoy と比較する検証記事。
• Transformers v4.19.0リリース: Meta 公開の OPT (Open Pre-trained Transformer Language Models) などを追加。
• Transformers v4.18.0リリース: 画像認識分野の ResNet などが新たに追加。
• Transformers v4.16.0リリース: 画像認識分野の Swin Transformer が新たに追加。
• Transformer用最適化ライブラリ「xFormers」公開（Facebook Research）: PyTorch ベースの Transformer 最適化実装ライブラリ。
• テキスト前処理・可視化ライブラリ「Texthero」の紹介記事: 日本語対応のためのコードも掲載。
• Hugging FaceとAmazonの提携発表: Amazon SageMaker 上に言語モデル構築向けインスタンスを提供。
• Hugging Face「AutoNLP」ウェブサイト公開: 開発に関わる Kaggle Grandmaster Abhishek Thakur さんの解説動画も公開。
• テキスト前処理ライブラリ「NLPretext」の紹介記事: basic、social、token、augmentation の 4 要素で構成。
• Transformers v4.3.0公開（Wav2Vec2）: Facebook の音声事前学習モデル Wav2Vec2 などを実装。
• AllenNLP v2.0.0リリース: PyTorch ベースで構築された NLP ライブラリの大型更新。
• Hugging Face「AutoNLP」公開予告: Kaggle 史上初の全 4 カテゴリ Grandmaster Abhishek Thakur さんによるプロジェクト。
• Transformers v4.0.0-rc-1公開: デフォルト tokenizer が高速な Rust 製に切り替わるなどの変更。
• Transformers Trainerにハイパーパラメータ調整機能が実装: Optuna や Ray Tune を利用可能に。
• 日本語形態素解析器比較ライブラリ「toiro」: テキストダウンロードや分類器機能も備えるライブラリ。
• 自然言語処理モデル学習時間短縮の検証記事（transformers）: トークン化バッチの工夫による高速化を検証。
• 「flair」ライブラリの紹介記事（日本語文書分類）: livedoor ニュースコーパスを用いた分類タスクの実践。
• Sudachi・MeCabの形態素解析結果を比較する記事: livedoor ニュースコーパスでの分類タスクを通じた比較。
• Transformers v3.0リリース: ドキュメント刷新と新トークナイズ API を追加。
• AllenNLP v1.0.0リリース: PyTorch ベースの NLP ライブラリ。Optuna との連携機能も用意。
• spaCy v2.3.0リリース（日本語モデル追加）: 日本語向けチュートリアルも公開。
• NLTKによる英語テキストの文分割・単語分割の解説記事: スペース区切りでは対応できないケースを含めた詳細な解析。
• Transformers v2.9.0リリース: PyTorch と TensorFlow 2 を同一インターフェースで扱う Trainer クラスが登場。
• Hugging Faceがトークン化ライブラリ「Tokenizers」を公開: Transformers と合わせて BERT などのモデルを使いやすくするライブラリ。
• GPUでのNLP時「CUDA out of memory」回避Tips記事: Embedding layer を CPU に載せるなどのアイディアを列挙。

研究動向・サーベイ・イベント

• 現代AI入門: 大規模言語モデルから思考するシステムへ — Test-Time Scaling, Loop, Harness, RSI: 基盤モデルを中心に発展してきた「現代AI」の解説資料。Test-Time Scaling や推論時計算、ハーネス、ループなど歴史的経緯を踏まえて体系的に概観している。
• DeepSeek-R1の論文読んだ？
• ModernBERT のブログを読んでみた感想
• 【2026年版】 ベクトル検索と Embedding 最前線: ベクトル検索と埋め込みモデルの動向をまとめた資料。次元削減や量子化などの技法にも触れる。
• LLM×強化学習の新しいパラダイム: Agentic RLの研究紹介: サーベイ論文をもとに LLM への強化学習の最新動向を紹介する記事。
• Generative or Discriminative? Revisiting Text Classification in the Era of Transformers: テキスト分類の識別的アプローチと生成型アプローチを網羅的に比較した EMNLP 2025 Outstanding Paper。
• ChatGPT vs BERT：どちらが日本語をより理解できるのか？: JGLUE ベンチマークで ChatGPT と BERT 系を比較した検証記事。
• 最先端の質問応答技術の研究開発と迅速な実用化ーStudio Ousiaでの取り組みー: 質問応答技術の研究開発とコンペでの取り組みの解説資料。
• NLPとVision-and-Languageの基礎・最新動向 (1) / DEIM Tutorial Part 1: NLP: NLP と Vision & Language の基礎・最新動向を扱うチュートリアル資料。
• Cohereの多言語用の埋め込みモデルを日本語で評価してみる: 多言語埋め込みモデルの日本語性能を文類似度と検索で評価した記事。
• 広範なデータで学習される「基盤モデル」のサーベイ資料: 自然言語処理を起点に画像領域への展開などをまとめた資料。
• 大規模データで学習された「基盤モデル」の解説記事: BERT などの基盤モデルの概要、活用事例、課題を紹介。
• 自然言語処理領域での転移学習の進展と近年の動向まとめ: 132 ページにわたり多岐の話題を扱うサーベイ資料。
• ニューラルネットワークによる自然言語処理の概観資料: 系列を扱う構造や学習方法、動向を紹介する資料。
• ACL 2021ベストペーパーを日本語文書で検証する記事: 適切な語彙サイズを自動決定する枠組みの日本語検証。
• 近年の自然言語処理動向まとめ資料（汎用事前学習言語モデル観点）: 様々な提案手法を簡単な説明と共に列挙した資料。
• 2020年の機械学習・自然言語処理領域の総括記事（DeepMind研究者）: 言語モデルの巨大化や軽量化、少データ学習の展望も含めてまとめた記事。
• 第18回最先端NLP勉強会: 2026 年 8 月に国立情報学研究所で開催された論文読み会。TACL、ACL、EMNLP、NAACL などから参加者投票で選ばれた約 30 本を分担して紹介する形式で、発表資料もプログラムから公開されている。
• 「最先端NLP勉強会2020」発表資料集: 著名な国際会議採択論文の紹介資料 30 件以上を公開。
• ACL2020読み会 招待講演「半教師あり学習・疑似データ学習法の進展」: 不完全なデータを活用した性能向上手法をまとめた資料。
• Yann LeCunさんによるself-supervised learning講演の要約記事（AAAI 2020）: BERT に代表される Transformers の成果と、深層学習研究が抱える課題を議論。
• BERT応用勉強会の聴講メモ: 5 件の興味深い発表内容をまとめた記事。アーカイブ動画も公開。
• BERT応用勉強会の開催告知: ドメイン活用事例やフロントエンド利用例を LT 形式で発表。

関連概念

• 自然言語処理コンペ / 画像認識・視覚モデルの技術動向 / PyTorch