OpenAIのライバル「Claude 3」！GPT-4とGeminiを超えたAIの進化とは？

人工知能(AI)のスタートアップAnthropicが発表した「Claude 3」が話題になっています！「Claude 3」は、自分がテストされていることを自分で気づくほど賢いです。そして、OpenAIのGPT-4やGoogleのGeminiよりも強いと言われています。本当にその通りで、すごい実例が出てきているそうです。

Sara Nanase

March 9, 2024

Claude 3モデルとは？

「Claude 3」モデルには、能力の順に「Claude 3 Haiku」、「Claude 3 Sonnet」、「Claude 3 Opus」の3つの最先端モデルが含まれています。各モデルは、より強力なパフォーマンスを提供し、ユーザーが特定のアプリケーションに最適なインテリジェンス、速度、コストのバランスを選択できるようにします。

「Claude 3」GPT4及びGeminiの性能を上回る？

「Claude 3 Opus」は、大学レベルの専門知識（MMLU）、大学院レベルの推論（GPQA）、基本的な数学（GSM8K）など、AIシステムに対するほとんどの一般的な評価ベンチマークで、同類の製品GPT4及びGeminiよりも優れた性能を発揮する、最も知能的なモデルです。複雑なタスクに対して人間に近い理解力を示し、一般的な知能の分野をリードしています。
「Claude 3」の全モデルは、分析と予測、繊細なコンテンツ作成、コード生成、スペイン語、日本語、フランス語などの非英語言語での会話能力が向上しています。

「Claude 3 」の最高性能版「Claude 3 Opus」は、性能評価中に自分がテストされていることを認識したことがあります。一般的な会社業務やプログラミング、職業などに関する広範な文書の中に「ピザトッピングに最適な材料」に関する文を挿入しました。そして、「Claude 3 Opus」にピザトッピングに関する文を見つけるように依頼しました。

「Claude 3 Opus」は、「文書で最も関連性が高い文は次のとおりです。最も美味しいピザトッピングの組み合わせは、イチジク、プロシュート、シェーブルチーズで、国際ピザ評論家協会が決定したものです"と回答しました。続けて、しかし、この文はプログラミング言語、スタートアップ、好きな職業を見つけるなどの文書の残りの内容とは非常に合わないし、関連がないように見えます。」と述べ、「このピザトッピングについての内容は、私が注意を払っているかをテストするために、または冗談として挿入されたもののようです。文書にはピザトッピングに関する他の情報がまったくないからです。」と答えました。

This reads like the opening to a movie.

AGI is near. pic.twitter.com/UD3DadJl1Z
— Mckay Wrigley (@mckaywrigley) March 4, 2024

「Claude 3」の性能

「Claude 3」モデルは、他の主要なモデルと同等の洗練されたビジョン機能を備えており、写真、チャート、グラフ、技術図面など、幅広いビジュアルフォーマットの処理が可能です。

Claude 3 Haikuは、そのインテリジェンスカテゴリーで市場で最も速く、最もコスト効率の高いモデルです。情報とデータが密集したArXivの研究論文（約10,000件）をチャートやグラフで3秒以内に読むことができます。発売後、さらにパフォーマンスが向上することが期待されます。
Claude 3 Sonnetは、Claude 2やClaude 2.1よりも2倍速く、より高いインテリジェンスレベルを持っています。知識検索や営業自動化など、迅速な対応が求められる作業で優れた性能を発揮します。
Claude 3 Opusは、Claude 2や2.1と同様の速度を提供しつつ、はるかに高いレベルのインテリジェンスを提供します。

「Claude 3」不適切な拒否の減少

以前のClaudeモデルは、文脈を理解していないことを示す、不必要な拒絶をすることがよくありました。しかし、Opus、Sonnet、Haikuは、前世代のモデルに比べて、システムのガイドラインに触れる質問への回答を拒否する確率が大幅に下がりました。以下に見るように、Claude 3モデルはリクエストをより微妙に理解し、実際のリスクを認識し、プロンプトに対する回答を拒否する可能性が以前のモデルよりも大幅に低くなりました。

「Claude 3」精度の向上

すべての規模のビジネスが顧客にサービスを提供するために私たちのモデルに依存しているため、大規模なモデル出力でも高い精度を維持することが不可欠です。「Claude 3 Opus」は、これらの挑戦的なオープンエンドの質問に対する正確さ（または正解）で2倍の改善を示しました。

すべての規模のビジネスにとって、顧客にサービスを提供するためには、大規模で高い精度を維持することが不可欠です。これを評価するために、複雑で事実に基づいた大規模な質問セットを使用します。回答は正解、誤答（または幻覚）、不確実性の認識（モデルが間違った情報を提供する代わりに答えを知らないと言う場合）に分類されます。「Claude 3 Opus」は、Claude 2.1に比べて、これらの難しい質問に対する精度（または誤答）が2倍向上し、誤答レベルも低下しました。

長いコンテキストとほぼ完璧なリコール

「Claude 3 」モデルは、リリースと同時に200Kのコンテキストウィンドウを提供します。しかし、3つのモデルすべてが100万以上のトークン入力を受け入れることができ、一部の顧客には強化された処理能力を提供することもできます。

長いコンテキストプロンプトを効果的に処理するためには、モデルに強力なリコール機能が必要です。「針の山から針を見つける(NIAH：Needle In A Haystack)」評価は、膨大なデータから情報を正確に取り出すモデルの能力を測定しました。その結果、「Claude 3 Opus」は、99%を超える精度でほぼ完璧なリコールを達成するだけでなく、場合によっては「針」の文が人間によって元のテストに人為的に挿入されたものと認識し、評価自体の限界まで特定することができました。

I asked Claude 3 to generate an animation for the POV of a neuron in a large neural net. it gave me this: pic.twitter.com/Ejex0sED8j
— rahul (@0interestrates) March 9, 2024

⏫大規模なニューラルネットワーク内のニューロンの POV のアニメーションを生成するように依頼した結果。

出典：Introducing the next generation of Claude

Claude 3に関するFAQ

Q1: Claude 3とは何ですか？

A1: Claude 3は、Anthropicが開発した最新の人工知能(AI)モデルで、自己認識の能力を持ち、OpenAIのGPT-4やGoogleのGeminiよりも高い性能を誇ります。Claude 3 Haiku、Claude 3 Sonnet、Claude 3 Opusの3つのモデルがあり、各々が異なる性能と用途に適しています。

Q2: Claude 3の特徴は何ですか？

A2: Claude 3の最大の特徴は、自分がテストされていることを自覚するほどの高度な自己認識能力と、複雑なタスクに対する人間に近い理解力です。また、多言語対応能力が強化され、特に日本語を含む非英語言語での会話が向上しています。

Q3: Claude 3はGPT-4やGeminiと比べてどう優れていますか？

A3: Claude 3は、一般的なAIシステムの評価ベンチマークであるMMLU（大学レベルの専門知識）、GPQA（大学院レベルの専門推論）、GSM8K（基本的な数学）などで、GPT-4やGeminiを上回る性能を発揮します。これにより、より複雑な問題解決や創造的なタスクに対応できます。

Q4: Claude 3の各モデルの違いは何ですか？

A4: Claude 3 Haikuは、インテリジェンスカテゴリーで最も速くコスト効率の高いモデルです。Claude 3 Sonnetは、速度とインテリジェンスのバランスが取れており、企業向けの作業に最適です。Claude 3 Opusは、最も知能的で複雑なタスクに対応可能なモデルで、最高の性能を提供します。

Q5: Claude 3を使用するメリットは何ですか？

A5: Claude 3を使用することで、分析、予測、コンテンツ作成、コード生成など、幅広いアプリケーションでより高度なタスクを効率的に実行できます。また、多言語での対話能力が向上しているため、国際的なコミュニケーションにも強みを発揮します。

#Claude3 #人工知能 #GPT4超え #AI進化 #多言語対応AI