自然言語処理（natural language processing：NLP）は、人間が日常的に使用している言語をコンピュータで扱う方法について研究する分野である。

近年の自然言語処理では、大規模なデータを用いて訓練されたニューラルネットワーク（neural network）である、大規模言語モデル（large language model：LLM）を利用した方法が標準的になりつつある。

大規模言語モデルの基礎となるニューラルネットワークの一つが、Transformerである。

Transformerとは

Transformerは、2017年にGoogleの研究者らによって提案されたニューラルネットワークである。

当初は機械翻訳のモデルとして提案されたが、その後、大規模言語モデルを含む幅広い処理に応用され、現在では自然言語処理において標準的に利用されるニューラルネットワークの一つとなっている。

Transformerの入力には、単語よりも細かい単位であるサブワード（subword）や文字を使用することが一般的である。

入力された文章は、このような一定の単位に分割され、トークン（token）の列としてTransformerへ入力される。

Transformerは、トークン埋め込み、位置符号、自己注意機構、順伝播型ニューラルネットワークなどによって構成される。
なお、これらの構成要素と処理については、別の記事で詳しく取り上げる。

Transformerが提案された背景

Transformerが提案された当時、主要な系列変換モデルでは、再帰型ニューラルネットワークや畳み込みニューラルネットワークが使われていた。これらのうち、高い性能を示すモデルでは、エンコーダとデコーダを注意機構によって接続する方法も用いられていた。

これに対してTransformerは、再帰型ニューラルネットワークや畳み込みニューラルネットワークを使用せず、注意機構を中心として入力と出力の関係を扱うニューラルネットワークとして提案された。

再帰型ニューラルネットワークでは、系列を順番に処理する必要があるため、学習時の並列化が制限されるという課題があった。

Transformerでは、注意機構を利用して入力および出力の各位置の関係を扱うことにより、従来の再帰型モデルよりも学習処理を並列化しやすくなった。

Transformerを提案した論文では、英語からドイツ語および英語からフランス語への機械翻訳によって性能が評価された。その結果、従来のモデルと比較して高い翻訳性能を示し、学習に必要な時間も短縮された。

Transformerの種類

Transformerには、主に次の3種類の構成が存在する。

・エンコーダ構成
・エンコーダ・デコーダ構成
・デコーダ構成

それぞれの構成では、入力されたトークン列の処理方法や、出力する情報が異なる。

エンコーダ構成

エンコーダ（encoder）のみで構成されるTransformerは、入力されたトークン列に対応する、文脈化されたトークン埋め込みを出力する。

エンコーダでは、入力埋め込みに対してL個のブロックを順番に適用し、多段的に文脈情報を付与する。

この多段的な処理によって、低い位置にある層では表層的な情報、中間にある層では文法的な情報、高い位置にある層では意味的な情報というように、層が高くなるにつれて、より複雑で抽象的な文脈を捉えるようになると考えられている。

エンコーダ・デコーダ構成

エンコーダ・デコーダ（encoder-decoder）構成では、エンコーダとデコーダによって、2種類の異なる入力を扱うことができる。

機械翻訳の場合は、原言語の文をエンコーダで扱い、目的言語の文をデコーダで扱う。

デコーダは、エンコーダと比較して、ブロック内に注意機構が2つ含まれている点と、出力時にトークンの出力分布を計算する点が異なる。

デコーダ構成

デコーダ（decoder）構成は、エンコーダ・デコーダ構成のデコーダから、交差注意機構を除いたものである。

また、デコーダ構成のブロックは、エンコーダ構成のブロックと比較して、注意機構にマスク処理が加えられている点が異なる。

この記事について

参考文献
・「大規模言語モデル入門」山田郁夫　監修/著、鈴木正敏・山田康輔・李凌寒　著
・Ashish Vaswani et al., “Attention Is All You Need,” Advances in Neural Information Processing Systems 30, 2017.


※本記事は、上記文献を参考にしつつ、筆者の理解に基づき整理したものである。

大規模言語モデル（LLM）