誰でもプロ級画像編集！AppleのMGIEで写真が魔法のように変身

Appleが開発した最先端のAI画像編集技術「MGIE」が、私たちの画像編集の仕方を根本から変えようとしています。ただのテキスト指示で、写真がプロレベルに変身するこのAI画像編集について紹介します。

Sara Nanase
February 21, 2024

AppleのAI画像編集技術、MGIEとは？

AppleのMGIEは、「Multimodal Guided Image Editing（マルチモーダルガイド画像編集）」の略称であり、自然言語の指示を通じて画像編集を行う最先端のオープンソースAIモデルです。ユーザーが画像に対して望む変更をテキストで説明するだけで、MGIEは自動的にその変更を適用します。

カリフォルニア大学サンタバーバラ校の研究チームと共同で開発されたこのモデルは、マルチモーダル大規模言語モデル（MLLM）の機能を利用して、ユーザーの指示を解釈し、驚くほどの精度でピクセルレベルでの編集を行います。

ユーザーが具体的な操作方法を知らなくても、自然言語での指示だけで望む結果を得られるため、画像編集のハードルが大きく下がります。

上が（例：make it more healthy）入力命令で、右がMGIEによって共同で導出された式命令である。(出典：https://arxiv.org/pdf/2309.17102.pdf)

MGIEの主な特徴

MGIEは、様々な編集オプションを提供します。背景の変更、オブジェクトの追加や削除、色調の調整など、従来のソフトウェアでは難しかった操作も、AIの力を借りて簡単に作成します。これにより、より魅力的な画像を生み出すことができます。

  1. 表現豊かな指示ベースの編集：ユーザーは単純なテキストコマンドで画像を簡単に変更できます。
  2. Photoshopスタイルの修正：MGIEは、Photoshopスタイルの修正機能を提供します。これにより、切り取り、サイズ変更、回転、反転、フィルターの追加など基本的な画像編集操作を行うことができます。さらに、背景の変更、オブジェクトの追加や削除、画像のブレンドなど、より高度な編集も適用できます
  3. グローバル写真最適化：MGIEは、写真の全体的な品質を向上させることができます。これには、明るさ、コントラスト、鮮明度、色バランスなどの基本的な要素の調整が含まれます。また、スケッチ、ペインティング、アニメーション化など、より芸術的な効果の適用も可能です。
  4. ローカル編集：MGIEは、画像の特定の領域やオブジェクトに対して細かい調整を加えることができます。この機能を使えば、顔、目、髪、衣服、アクセサリーなど、画像内の特定要素の編集ができます。
出典 :Prompt: Replace the potatoes with baked beans
出典 :Prompt: Add strawberry frosting to one of the cupcakes

AI画像編集、MGIEはどう働くか？

ユーザーは、「このピザをもっと健康にして」とか「この写真からクリスマスツリーを取り除いて」と言ったりすると、MGIEはこれらの指示を理解し、実行することができます。MGIEはまだ開発中ですが、リリスされると、すべての人が画像編集を簡単に行えるようになります。

MGIE（マルチモーダルガイド画像編集）は、以下のステップに従って動作します。

  1. 命令入力：ユーザーは自然言語で画像編集に関する指示を提供します。例えば、「この画像の花の色をもっと赤くして」や「この写真から青い椅子を取り除いて」といった具体的な要望です。
  2. 意図理解：MGIEに組み込まれた高度な言語理解機能が、ユーザーの意図を解析します。このステップでは、ユーザーが何をしたいか、どのような変更を望んでいるかを正確に理解することが重要です。
  3. 視覚的理解：同時に、MGIEは画像を詳細に分析し、画像内のオブジェクト、質感、色彩などの要素を認識します。このプロセスでは、画像の構成要素とその相互関係が識別されます。
  4. ガイド付き編集：言語的理解と視覚的理解を融合させ、MGIEは指示に基づいて画像を編集します。この段階では、単に指示に従うだけでなく、画像の文脈を考慮して、最も自然で意図に沿った結果を生み出すように調整されます。

MGIEは、従来の画像編集ツールが要求する技術的なスキルや複雑な操作を必要とせず、より直感的でアクセスしやすい方法で、画像編集を可能にします。

Apple MGIEにアクセスするには？

  • オープンソース：MGIEは、GitHub上で公開されているオープンソースプロジェクトです。これにより、MGIEの機能に興味があるすべてのユーザーがアクセスし、探求することが可能になります。
  • Hugging Face Spaces：Hugging Face SpacesでホストされるWebデモを使って、MGIEの機能を直接体験することができます。

（＊Hugging Face Spacesは、機械学習プロジェクトのテストや共同作業を行うのに適したユーザーフレンドリーなプラットフォームです。）

AI画像編集の未来

MGIEはまだ開発中ですが、画像編集をより簡単でアクセスしやすいものにする可能性を秘めています。それは、人間の意図と画像操作の間のギャップを埋め、特別な知識なしに画像を編集できるようにします。

MGIEの開発は、技術と創造性の境界を広げるAppleの強い決意を示しています。AIと人間の創造性が完璧に組み合わさり、新しい未来への道を照らす希望に満ちた例として、この分野でのさらなる進展に多くの期待が寄せられています。

AIと画像編集の分野でのこの興奮する新しい進歩について、引き続き最新情報をお楽しみに！

画像編集AI

よくある質問

Q1: MGIEとは何ですか？

A1: MGIE（マルチモーダルガイド画像編集）は、Appleが開発した最先端のAI画像編集技術で、自然言語の指示を通じて画像編集を行うオープンソースAIモデルです。

Q2: MGIEの利用方法は？

A2: MGIEは自然言語での指示に基づいて画像を編集します。GitHubやHugging Face Spacesでアクセス可能なWebデモを通じて、直接体験することができます。

Q3: MGIEでできることは？

A3: 背景の変更、オブジェクトの追加や削除、色調の調整など、従来のソフトウェアでは難しかった操作を、AIの力を借りて簡単に行うことができます。

Q4: MGIEは誰でも使えますか？

A4: はい、MGIEは初心者からプロフェッショナルまで、幅広いユーザーに対応しています。具体的な操作方法を知らなくても、自然言語での指示だけで望む結果を得られます。

Q5: MGIEの開発背景は？

A5: MGIEは、カリフォルニア大学サンタバーバラ校の研究チームと共同で開発されました。マルチモーダル大規模言語モデル（MLLM）の機能を利用して、ユーザーの指示を解釈し、ピクセルレベルでの編集を行います。

Q6: MGIEの将来性は？

A6: MGIEはまだ開発中ですが、画像編集をより簡単でアクセスしやすいものにする可能性を秘めています。技術と創造性の境界を広げ、AIと人間の創造性が完璧に組み合わさることで、新しい未来への道を照らします。

‍