LLMs（大規模言語モデル）とは？
LLM（Large Language Models）は、「大規模言語モデル」と直訳されます。これは、人間の言葉を理解し、新しいテキストを生成する能力を持つ人工知能（AI）技術の一種です。簡単に言えば、人間のように「話せる」コンピューターのことを指します。
LLMは、めちゃくちゃたくさんの「パラメータ」を持っている人工知能の一種で、言葉を理解したり、新しいテキストを生成したりすることができます。つまり、人間の言葉を使ってコミュニケーションするAIだと考えていただければと思います。
LLM（大規模言語モデル）のパラメータって？
「パラメータ」とは、LLMを学習させるときに使う数値のことです。これが多いほどAIは賢くなりますが、ただ多いだけでは良いというわけではありません。ちゃんとした「トークン」と「ファインチューニング」が必要です。
- トークン：テキストをAIが理解しやすい小さな単位に分割すること。
- ファインチューニング（事前学習）：AIが学んだデータを現実世界で役立つように微調整すること。
LLM（大規模言語モデル）は、どうやって動くの？
LLMは、大量のテキストデータから学習します。インターネット上の記事、本、SNSの投稿など、ありとあらゆるテキストを読み込み、言葉の使い方や文脈を理解します。そして、それを基にして、新しい文を作ったり、質問に答えたりする能力を身につけます。例えば、一つの文が与えられた場合、単語間の類似性や文脈の形成を理解し、より正確な意味を生成するのです。
OpenAIのGPTのような大規模言語モデル（LLM）は、事前学習と微調整という2つの主要なステップで学習されます。
- 事前学習：これは大規模言語モデルの学習プロセスにおいて基礎的なステップで、モデルが膨大な量のテキストデータに触れることで、言語の一般的な理解を深めます。この段階では、文法のルール、言語パターン、事実情報、推論能力などを学習します。このプロセスは教師なし学習と呼ばれ、モデルは明示的な指示なしに、単にテキストデータとその文脈から学習し、時間と共に言語の複雑さを吸収していきます。
- 微調整（ファインチューニング、Fine-tuning）：事前学習のフェーズの後、ファインチューニングはモデルに実際の訓練を施すようなものです。これにより、特定のタスクやドメインに対する能力を磨き上げ、モデルを言語学習者からそのタスクに特化した専門家へと変貌させます。ファインチューニングは、既存のモデルを特定のタスクやドメインに適応させたい場合に非常に重要で、大規模モデルを一から訓練する代わりに、事前に訓練されたモデルをベースにして特定のタスクにおける微調整を行います。
次に、具体例をみてみましょう。
- トークン化：文は小さな単位、トークンに分割されます。例えば、「猫」「は」「窓」「の」「外」「を」「じっと」「見て」「いる」「。」のように分けられるでしょう。
- 文脈化：トークンはそれぞれの文脈の中で解析されます。例えば、「猫」は主語、「窓の外」はどこを見ているかを示す場所、「じっと」は見る行為の様子を表します。
- エンコーディング：トークン化された文は、数値化されたベクトルにエンコードされます。この過程では、各トークンがモデルが理解できる形式に変換されます。
- デコーディング：エンコードされたベクトルは、モデルによって処理され、次に来るトークンの予測に使用されます。この例では、「猫は窓の外をじっと見ている」の後に何が来るかをモデルが予測します。
- 次のトークンの確率の出力モデル：可能性のある次のトークンとその確率を出力します。例えば、「猫は窓の外をじっと見ている」の後に「。」が来る確率が高いかもしれませんが、「猫は窓の外をじっと見ていると、鳥が飛んでいるのが見えた。」のように文を続ける選択肢も考えられます。
この一連のプロセスを通じて、LLM（大規模言語モデル）は与えられた文の文脈を理解し、最も自然な続きを生成することができます。トークン化から文脈化、エンコーディング、デコーディング、そして次のトークンの確率出力に至るまで、各ステップは文の理解と生成に不可欠な役割を果たしています。
LLM（大規模言語モデル）の構造
LLM（大規模言語モデル）は、入力層と出力層の間にたくさんの「隠れ層」を持つ、深層学習モデルです。人間の脳のネットワークを模倣して作られていて、それぞれの層がデータを処理して、より複雑なタスクを解決できるようになっています。
あるLLMが、「今日はとても暑い日だった。」という文を受け取り、次に来る文を生成するタスクを考えます。
- 入力層: まず、「今日はとても暑い日だった。」という文が入力されます。この文は、単語ごとに分割され、それぞれが数値化（例: トークン化）されてモデルに入力されます。
- 隠れ層1（文脈理解層）: この層では、文の中の各単語がどのように関連しているかを学習します。例えば、「今日」と「暑い」の関係を理解し、「暑い」が「今日」に対してどのような情報を追加しているかを捉えます。この層は文脈の理解に重点を置いています。
- 隠れ層2（感情分析層）: ここでは、文が持つ感情や雰囲気を分析します。「とても暑い日だった」という表現から、不快感や過ごしにくさを感じる可能性があるという情報を抽出します。
- 隠れ層3（続き文生成層）: 文脈と感情の理解に基づいて、次の文の候補を生成します。例えば、「だから、クーラーをつけたまま寝てしまった。」など、暑さに対する対処を示唆する文が生成されるかもしれません。
- 出力層: 最終的に、隠れ層3で生成された候補の中から最も適切と思われる文を選び、それを出力します。
LLM と生成AIの違い
生成AIと大規模言語モデル（LLM）は、人工知能の分野における関連性があるものの、異なる概念です。
生成AIは、コンテンツを生成することを主な機能とするAIシステム全般を指す広い用語です。これは、画像のラベル付けなどの他の機能を持つAIシステムとは対照的です。生成AIの典型的な例には、画像生成器、大規模言語モデル、コード生成ツール、オーディオ生成ツールなどがあります。
一方、大規模言語モデル（LLM）は、言語を扱うAIシステムの一種です。LLMは、膨大な量のテキストデータで訓練され、入力に基づいて人間らしいテキストを生成することができます。LLMはテキストの理解と生成に特化した生成AIの一種です。
要するに、すべてのLLMは生成AIの一種ですが、すべての生成AIシステムがLLMであるわけではありません。その違いは、彼らが生成するコンテンツの種類にあります。LLMは、テキストに特化していますが、生成AIは様々な種類のコンテンツを生成するシステムを含む広いカテゴリーです。
なぜLLMが重要なの？
LLM（大規模言語モデル）のすごいところは、ただ話すだけでなく、与えられた文脈を理解して、それに合った答えを生成できる点です。これにより、人間と機械のコミュニケーションがよりスムーズになり、私たちの生活や仕事を支援する新しい方法が開発されています。
LLMの進化と未来は？
最近、さまざまなIT企業が自社のLLMを開発しており、AIの能力を高めようとしています。
この技術のおかげで、自動運転車や、人間のように創作活動をするAIが登場しています。AIが作成した小説や絵、デザインなどがすでに現実のものとなっています。
ただし、LLMは、ハルシネーション（Hallucination）やデータ漏洩の問題が指摘されています。しかし、オープンソースモデルの機能向上により、改善される可能性が徐々に高まっています。
- ハルシネーション：幻覚、幻想、幻聴を意味する英語の単語で、与えられたデータや文脈に基づかない情報や偽情報を生成する問題です。
LMは、AIの能力をぐんと引き上げる鍵を握っている技術です。これからもっと進化して、私たちの生活をより豊かにしてくれることを期待しています。でも、その進化をどう活用するかは、私たち人間にかかっています。
関連記事
よくある質問
Q1: 大規模言語モデル（LLM）とは何ですか？
A1: 大規模言語モデル（LLM）は、膨大な量のテキストデータを分析して、人間の言葉を理解し、新しいテキストを生成する能力を持つ人工知能（AI）技術です。人間のように「話せる」コンピューターとも言えます。
Q2: LLMのパラメータとは何ですか？
A2: パラメータとは、LLMを学習させる際に使用する数値のことで、これが多ければ多いほどAIは賢くなります。しかし、適切な「トークン」と「ファインチューニング」も必要です。
Q3: LLMはどのように動作しますか？
A3: LLMは、インターネット上の記事やSNSの投稿など、様々なテキストデータから言葉の使い方や文脈を学習します。そして、それを基にして新しい文を作ったり、質問に答えたりする能力を身につけます。
Q4: LLMの利用例を教えてください。
A4: LLMは記事の作成、プログラミング、音楽作成など、クリエイティブな活動に利用されます。また、チャットボットや自動翻訳、コンテンツ生成など、多岐にわたる分野で活用されています。
Q5: LLMと生成AIの違いは何ですか？
A5: 生成AIはコンテンツを生成するAIシステム全般を指し、LLMはその一種で、特にテキストの理解と生成に特化した技術です。すべてのLLMは生成AIの一種ですが、すべての生成AIがLLMであるわけではありません。
Q6: LLMの将来はどうなりますか？
A6: LLMの技術は進化を続けており、自動運転車や創作活動をするAIなど、新しい応用例が増えています。しかし、ハルシネーションやデータ漏洩などの問題も指摘されており、技術の進化には注意が必要です。
Q7: LLMを使用する際の注意点はありますか？
A7: LLMは偽情報を生成する可能性があるため、生成されたコンテンツの正確性を確認することが重要です。また、プライバシーや著作権に関する問題にも注意し、倫理的な使用を心がけましょう。