形態素解析からベクトル解析へ：この20年で起きた言語処理技術の大革命

2003年〜2012年の時代、日本語の自然言語処理といえばMeCabのような形態素解析器が主流でした。当時のエンジニアは「辞書を整備して、ルールを書いて、品詞を正確に判定する」ことに情熱を注いでいたのです。しかし、2013年〜2017年にかけてのディープラーニングの波、そして2017年6月12日に発表された革命的論文「Attention Is All You Need」によって、この20年間でまさに技術革命が起きました。

現在主流のベクトル解析との主な違いは、単語の意味を数値化して扱うか、記号として扱うかという根本的な発想の転換にあります。

2003年〜2012年の主役：MeCabなどによる形態素解析

MeCabは2003年に奈良先端科学技術大学院大学で開発され、日本語処理のデファクトスタンダードとして長らく君臨してきました。実は「MeCab」という名前の由来は「Meかぶ」（めかぶ）ではなく、「Mixed Elementary Chunks Analysis Based on support vector machines」の頭文字なんです。

MeCabのようなツールは、日本語の文章を**「形態素（意味を持つ最小単位）」に分割し、それぞれの形態素に品詞や活用形などの情報を付与します。これは、ルールベースや統計ベース**のアプローチであり、以下のような特徴がありました。

特徴1：単語を「記号（シンボル）」として扱う

「食べる」という形態素と「飲んだ」という形態素は、モデルにとっては単なる異なるID（文字列）として認識されます。それぞれの単語が持つ意味的な類似性（例：「食べる」と「飲む」は「行為」という点で似ている）を直接的に捉えることはできませんでした。

特徴2：構文解析が主な目的

主に文の構造（主語、述語、目的語など）を解析し、文法的な役割を理解することに特化していました。

特徴3：文脈への対応が限定的

「彼は銀行でお金を引き出した」と「川の銀行にボートを停めた」という文があった場合、MeCabは両方の「銀行」を「名詞」として解析しますが、それが「金融機関」なのか「川岸」なのかという意味のニュアンスを区別することはできませんでした。

豆知識：MeCabの辞書として使われるIPAdic（2007年）には約24万語が収録されていましたが、現在のGPT-4のトークン数は約5万個。実は語彙数が少なくても、意味理解の精度は圧倒的に向上しているんです。

2013年〜2017年の革命：埋め込みベクトルによるベクトル解析

転機は2013年のWord2Vec発表でした。Googleの研究チームが発表したこの技術は、「単語を数値で表現する」という画期的なアイデアを実用化しました。その後、2017年6月12日のTransformer（「Attention Is All You Need」論文）、2018年のBERTと、まさに怒涛の進化を遂げます。

大規模言語モデル（LLM）のベクトル解析は、単語やサブワードを数値のベクトルで表現します。このアプローチは、以下の点で従来の解析とは大きく異なります。

特徴1：単語を「数値（ベクトル）」として扱う

「食べる」と「飲む」のような意味的に近い単語は、ベクトル空間内で互いに近い位置に配置されます。これにより、単語の類似性や関係性を数学的に計算できるようになりました。

特徴2：意味のニュアンスを捉える

2017年6月12日に登場したTransformerのセルフアテンション機構により、同じ単語でも文脈に応じてベクトルが動的に変化します。これにより、「銀行」が「お金」や「引き出す」といった単語の近くに出現すれば金融に関するベクトルに、「川」や「ボート」といった単語の近くに出現すれば自然に関するベクトルに、それぞれ意味が近づけられます。

特徴3：構文と意味を統合的に学習

埋め込みベクトルは、単語の意味だけでなく、文法的な役割（名詞、動詞など）も暗黙的に学習します。これにより、単語間の関係性や文全体の意味をより深く、柔軟に理解することができます。

驚きの事実：ChatGPTで有名なGPT-3（2020年）の学習には、インターネット上の約45TBものテキストデータが使用されました。これは人間が一生かけて読む本の約100万倍に相当します！

20年間の技術進化タイムライン

両手法の比較：過去vs現在

面白い対比：MeCab（2003年）の開発者は「正確な品詞判定」を目指していましたが、GPT-4（2023年）は品詞を明示的に学習していないのに、より自然な文章を生成できます。これは「精密な分析」から「大量データからのパターン学習」への発想転換を象徴しています。

トークン化の仕組み：サブワードという発明

大規模言語モデル（LLM）のトークン化は、単語や文字ではなく、**サブワード（Subword）**という単位で行われるのが一般的です。この技術も段階的に進化してきました。

進化の歴史

• 2012年: Byte Pair Encoding（BPE）がデータ圧縮分野で開発
• 2016年: BPEが自然言語処理に応用され、未知語問題を解決
• 2016年: GoogleがWordPieceを開発（BERTで採用）
• 2018年: SentencePieceで多言語対応が強化

1. Byte Pair Encoding（BPE）

最も広く使われているアルゴリズムです。テキストを文字単位から開始し、最も頻繁に出現する文字のペアを結合していくことで、新しいトークンを生成します。例えば、「tokenization」という単語は、「token」「ization」のように分割されることがあります。

2. WordPiece

Googleが開発したアルゴリズムで、BPEと似ていますが、トークンの結合をデータ内で最も「尤もらしい（likelihood）」ペアに限定する点が異なります。BERTやALBERTなどで使用されています。

3. SentencePiece

Googleが開発した、BPEやWordPieceを多言語対応に拡張したものです。特に日本語のように、単語間の区切りが明確でない言語に有効です。

2018年以降、PythonではHugging Faceのtransformersライブラリ（2019年リリース）がこれらのトークナイザを簡単に利用できる標準的なツールとなっています。

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
text = "Hello, world!"
tokens = tokenizer.tokenize(text)
print(tokens)  # ['hello', ',', 'world', '!']

ids = tokenizer.convert_tokens_to_ids(tokens)
print(ids)  # [7592, 1010, 2088, 999]

技術者あるある：2010年代前半のエンジニアは「辞書にない単語をどう処理するか」で頭を悩ませていましたが、サブワード技術の普及により、この問題はほぼ解決されました。未来の技術者が今当たり前だと思っている技術も、実は最近解決された課題だったりするんです。

モデルの層数と構造：「深さ」の競争時代

2017年のTransformer登場以降、LLMは**トランスフォーマーブロック（Transformer Block）を縦に何層も積み重ねることで構築されています。この層の数を「深さ（depth）」**と呼び、まさに「深さ競争」の時代が始まりました。

層数の進化史

• 2018年 BERT-base: 12層（当時は「深い」と言われた）
• 2019年 GPT-2: 48層（GPT-2-largeで36層、XLで48層）
• 2020年 GPT-3: 96層（まさに巨人）
• 2022年 PaLM: 118層（Googleの巨大モデル）

モデルの規模によって層数は大きく異なりますが、一般的なLLMは数十層から百層近くの深さを持っています。これらの層は、入力ベクトルを段階的に洗練させ、より高次元で抽象的な表現へと変換する役割を担っています。

各層は、主に以下の2つのサブレイヤーで構成されます。

1. Multi-Head Self-Attention Layer

入力トークンが他のすべてのトークンとの関係性を計算し、文脈に応じた重みを学習します。2017年6月12日の「Attention Is All You Need」論文で提案された革新的な仕組みです。

2. Feed-Forward Network

各トークンのベクトルを独立して処理し、非線形な変換を施します。

これらの層は、PyTorchやTensorFlowといったディープラーニングフレームワークを使用して実装されています。

import torch.nn as nn

class TransformerBlock(nn.Module):
    def __init__(self, d_model, n_heads):
        super(TransformerBlock, self).__init__()
        self.attn = MultiHeadSelfAttention(d_model, n_heads)
        self.ffn = FeedForwardNetwork(d_model)

    def forward(self, x):
        x = self.attn(x) + x  # Residual Connection
        x = self.ffn(x) + x  # Residual Connection
        return x

これは簡略化した例ですが、実際のモデルはこのブロックが何重にもなり、さらに**残差接続（Residual Connection）や層正規化（Layer Normalization）**といった工夫が加えられています。

スケールの実感：GPT-3の96層は、まさに96階建てのビルのようなもの。情報が下から上へ流れながら、各階で少しずつ「理解」が深まっていく構造になっています。

Pythonエコシステムの発達：開発者にとっての恩恵

LLMの開発や利用は、特定のPythonモジュールやフレームワークの発達と密接に関連しています。

エコシステムの発達史

• 2016年: PyTorch 1.0リリース（研究者に愛用される）
• 2019年: Hugging Face Transformersライブラリ登場（ゲームチェンジャー）
• 2020年: Datasets、Tokenizerライブラリが独立
• 2021年: Accelerateライブラリで分散学習が簡単に

主要なライブラリ

Hugging Face transformers（2019年〜）: 最も重要なライブラリです。BERT、GPT、T5、Llamaなど、主要なLLMの事前学習済みモデルやトークナイザを簡単にロードし、ファインチューニングや推論に利用できます。

PyTorch（2016年〜）/ TensorFlow（2015年〜）: transformersライブラリのバックエンドとして動作する、主要なディープラーニングフレームワークです。モデルのアーキテクチャ定義、学習、推論といった低レベルな処理を担います。

datasets（2020年〜）: モデルの学習や評価に使用するデータセットを簡単に扱えるHugging Faceのライブラリです。

accelerate（2021年〜）: Hugging Faceのライブラリで、大規模なモデルの学習をGPUや分散環境で効率的に行うための設定を簡素化します。

開発者の実感：2015年頃は「Tensorflowのチュートリアルを読むだけで一週間」だったのが、2023年現在は「pip install transformersして3行のコードでGPTが動く」時代になりました。技術の民主化がここまで進むとは、当時の開発者は想像もしていなかったでしょう。

まとめ：20年で起きた言語処理革命

この20年間の変化を一言で表すなら、「職人技から大規模学習への転換」と言えるでしょう。

• 2003年〜2012年のMeCab時代：辞書を整備し、ルールを書き、精密に解析する「職人の時代」
• 2017年〜2023年のLLM時代：大量データから自動的にパターンを学習する「機械学習の時代」

LLMは**transformersというモジュールを通じて、PyTorchやTensorFlowといったフレームワーク上で動作しており、そのコアとなる構造は何層にも重ねられたトランスフォーマーブロック**で構成されています。

形態素解析からベクトル解析への進化は、単なる文法的な理解から、文脈を考慮した意味的な理解への大きな転換点となりました。**2000年代の「正確だが融通の利かない解析」から、2020年代の「多少曖昧だが柔軟で実用的な理解」**へ。これにより、現在の高性能な言語AIが実現されているのです。