画像生成AI「DALL-E3」はどう凄いのか？StableDiffusionユーザーから見た「違い」

こんにちは、スタジオ真榊です。10月に入り、早いものでNovelAIの登場からほぼ丸一年が経過しましたね。

本日は、Microsoftの検索エンジン「Bing」に搭載されたことでTLを騒がせているOpenAI社の深層学習モデル「DALL-E3」（ダリ３）についての記事です。簡単なチュートリアルとともに、StableDiffusionを主に触ってきた画像生成AIユーザーから見てどのように凄いのか、何が変わるのか、そして何に使えるのかについて、さまざまな角度から検証してみたいと思います。

「DALL-E」とは？

DALL-Eシリーズは、ChatGPTで知られる米OpenAI社により開発された画像生成用の深層学習モデル。画像とテキストのペアを無数に学習することで、文字（プロンプト）を入力すると適切が画像を生成できるようにした「text2image」と呼ばれるモデルの一つです。2021年1月にファーストモデルが、2022年2月にセカンドモデル「DALL-E2」が発表されていました。

（https://openai.com/dall-e-3 よりスクショ引用）

23年9月20日に発表された「DALL-E3」は、よりプロンプトに忠実な画像が生成できる新モデル。これに伴い、Microsoftの検索エンジン「Bing」上で使える画像生成AI機能「Image Creator」がアップデートされ、DALL-E3ベースでのより高品質な画像生成が可能になったわけです。Image Creatorは、直接Bingにアクセスして使う方法のほか、ChromeかFirefoxを導入するのに主に使われるMicrosoftの不遇ブラウザ「Edge」ではサイドバー機能として使うことができます。

OpenAIのモデルですから、当然DALL-E3はChatGPT上で使用することが前提となっており、23年10月初旬にはChatGPT Plus（有料プラン）のユーザーなどを対象に機能が開放されるとのことです。

「DALL-E3」はどう始めるか

AIによる画像生成をするまでに、自分のPC上での環境整備やプロンプトなどに関する知識を覚えることが必要な「StableDiffusion」と異なり、Microsoftアカウントを持っていれば、ほとんど手間を掛けずにDALL-E3での画像生成を始めることができます。

「Edge」をわざわざ起動しなくても、こちらのURL（▲）から「Bing image creator」の画面に遷移し、microsoftアカウントでログインすれば、無料ですぐに画像生成を始めることができます。

これが「Image Creator」のトップ画面。上部の入力欄に生成したい画像について自由に打ち込むことで、すぐに画像生成を楽しむことが出来ます。

画像生成AIのモデルは英語ベースで学習されることが多く、StableDiffusionなどは英語でプロンプト（AIへの指示文章）を入力する必要がありましたが、Image Creatorでは日本語で打ち込んでも問題ありません。ただ、内部的に英語に自動翻訳されてから読み込まれているようなので、翻訳過程で意味が変容しそうな日本語は使わないほうが良いでしょう。

試しに、「アニメ、美しい風景、都市、山、虹、美しい青空、少年少女たちの後ろ姿、HQ」というプロンプトを打ち込んでみると、10秒ほどでこのような4枚が生成されました。

画像サイズは1024px✕1024pxで、Niji journeyのように「アップスケール」（高精細化）をしなくても、始めからこのクォリティで生成することができます。

ちなみに、「マフラーしたキリン」だと、ジラーフのほうではなく麒麟の方が出てしまいます。こういう場合は英語で入力する必要があるでしょう。

「ブースト」とは

プロンプト入力欄にはこのように「⚡」マークつきの数字が表示されており、100から生成ごとに「１」ずつ減っていきます。これは「ブースト」とよばれるシステムで、このポイント数が枯渇しても画像生成を続けることはできますが、生成速度が制限されるとのことです。

ブーストが不足した場合は、Microsoftアカウントに紐付けられているポイント「Microsoft Rewards」を利用して追加のブーストを得ることが可能です。

プロンプトのコツは？

前述のように日本語で認識してくれるのですが、公式ヘルプによると「記述的であるほど効果的」「形容詞や場所、さらには "デジタルアート "や "フォトリアリスティック "などの芸術的なスタイルなど、クリエイティブな詳細を追加したほうがよい」とされています。

例えば"creature（クリーチャー）"という単純なプロンプトだけではなく、"fuzzy creature wearing sunglasses, digital art（サングラスを掛けたもこもこしたクリーチャー、デジタルアート風）" といった細かいプロンプトのほうが高品質になる（▲画像参照）とされており、基本的には「、」もしくは「,」で区切って形容詞や名詞などを並べていく手法で問題ないようです。

もちろん、「、」で区切らない自然言語的な文章でも問題なく生成することができます。「渋谷のスクランブル交差点を歩いているスーツ姿の青年男性とセーラー服姿の少女のアニメ調イラスト」と指定するとこのようなイラストが出ます。

一方、こちらの画像は「渋谷のスクランブル交差点、歩いている男女、スーツ姿の青年男性、セーラー服姿の少女、アニメ調イラスト」としたもの。多少文脈の変化があるため、被写体の内容だけでなくタッチまで変わっています。どちらが優れているというよりは、どちらが誤解なくAIに伝わるか、を考えて指示したほうが良いのかもしれません。

（※このプロンプトでは3枚しか画像が表示されていませんが、理由については次の項目で考察します）

「DALL-E3」で生成できない画像は？

Microsoftのヘルプによれば、OpenAIとの協力のもと、ImageCreator上では「有害な画像や安全でない画像の生成を制限するための管理策」が導入されているとのこと。プロンプトから有害な画像の生成される可能性が検知されると、プロンプトが「ブロック」され、ユーザーに警告が表示されるとされています。

例えば、このようにセンシティブな画像が生成されそうなワードはそもそも入力時点で弾かれ、画像生成に進むことができません。

また、画像生成に進むことができても、たまたま不適切な画像が生成されてしまった場合はその画像だけが表示されない、という二段構えのシステムになっているようです。基本的に画像は１プロンプトで４枚生成されるのですが、場合によっては１～３枚だけしか表示されないことがあり、その場合は内部的に不適切な画像（成人向けや暴力的コンテンツというだけでなく、単に破綻した画像も含まれるかもしれません）が生成されてしまった可能性があると考えられます。

さきほどのスクランブル交差点のイラストでも、２回めの生成では３枚しか画像が生成されませんでした。「セーラー服姿の少女」というワードが敏感に反応した可能性があります。

Bingのコンテンツポリシーは以下の通り。

アダルトコンテンツ、自殺と自傷行為に関するもの、テロ、暴力、グロテスクな描写、ヘイトスピーチ等々の生成が禁止されています。このコンテンツ ポリシーに何度も違反していると、Image Creatorの使用ができなくなる恐れがあるとのこと。異議申し立てもできるようですが、場合によっては完全に「BAN」されるケースもあるとのことですので、興味本位でセンシティブなプロンプトを繰り返し試すのはやめておいたほうがいいでしょう。

AI生成を示す「Bingアイコン」がつく？

Image Creatorで生成された画像の左下隅には、AI で生成されたことを示す「Bing アイコン」が表示されます。…と公式では説明されており、確かに画面上では表示されるのですが、「ダウンロード」ボタンや右クリックから「画像を保存」で保存できる画像には、このアイコンは表示されないようです。

▼画面上の表示

▼ダウンロードしたもの

これがMicrosoft側の想定した運用なのか、それとも何らかの不具合で表示されないだけなのかはよくわかりません。今後このアイコンの扱いがどのようになるのか、ChatGPT上での画像生成ではどうなるのかは注視しておきたいと思います。

著作権関連と「オプトアウト」

少し試すと分かるのですが、DALL-E3はStableDiffusionなどと同様に…というより過去ないくらいの高精度で「ピカチュウ」や「ミッキー」「ガンダム」といった版権キャラクターを再現することができます。比較的新しいアニメである「機動戦士ガンダム 水星の魔女」のキャラクターは再現できませんでしたので、ある時点でウェブ上に公開されていた画像のスクレイピングによって学習しているものと思われます。

著作物の機械学習について各国の法律で判断が分かれているところですが、これまでも紹介してきた通り、日本国内では生成されたものの「類似性」と「依拠性」によって、著作権侵害かどうかが判断されます。つまり、手描きであろうとAI生成物であろうと、そのイラストが既存のイラストや漫画などに酷似していて、そのイラストを基に模倣されたものと認められれば著作権侵害が成立します。DALL-E3においてはかなりの再現度で版権キャラクターや実在の人物が再現できるようですので、一般的な画像生成AIと同様、生成物の利用の仕方によってはさまざまな権利侵害につながる可能性があります。

この点、Microsoft側は公式ヘルプ上で「実在するアーティストの名前に関連付けられた画像の作成を制限する」と表明しており、そのために、アーティスト本人からの報告を受け付けるとしています。これは、いわゆる学習からの「オプトアウト」について規定したものと言えます。

こうした点について、DALL-E3を開発したOpenAI社側は、「DALL-E3 は、存命のアーティストの画風再現を求めるリクエストを拒否するように設計されている」とした上で、「クリエイターは、将来の画像生成モデルの学習から自分の画像をオプトアウトすることもできる」と呼びかけています。

ImageCreatorの商用利用はできるのか？

もう少し詳しく利用規約を確認してみましょう。ImageCreatorの利用規約についてはこちらで確認することができます。

生成されたコンテンツは「合法的かつ個人的に、非営利目的で使用することができます」とあり、商用利用は禁止されています。また、生成画像の所有権について、Microsoftは主張しないものとしており、コンテンツの所有権については「お客様は、コンテンツをお客様が提供、投稿、アップロード、入力、または提出するために必要なすべての権利を含め、これらに限らず、本使用条件に記載されているとおりコンテンツのすべての権利をお客様が有しているかまたは管理していることを表明し、かつ保証するものとします」と記載されています。

また、Microsoftは「生成されたコンテンツが第三者の権利 (著作権、商標、プライバシーおよびパブリシティの権利、名誉毀損を含むあらゆる権利) を侵害しないことを一切保証または表明しない」としており、「オンライン サービスのいかなるコンテンツも、適用法令に従い、第三者の権利に準じて使用する必要がある」と念押しされています。「生成された画像によって著作権侵害や実在人物への名誉毀損といった行為が引き起こされた場合は、我々でなくあなたが責任を負うんだよ」ということで、生成AIに関わる上で非常に重要なポイントと言えるでしょう。

「DALL-E3の商用利用」はできないのか？

ところで、さきほどの利用規約はあくまでBing上における「ImageCreator」について規定したもの、つまりMicrosoft社の利用規約でした。DALL-E3を提供しているOpenAI社では、「DALL-E2 と同様、DALL-E3で作成した画像はお客様が使用するものであり、転載、販売、商品化する場合に当社の許可は必要ありません」としており、商用利用可能であると読めます。

この点、まもなく（10月初旬）とされているChatGPT上での生成が可能になった段階で、改めて詳しいリリースがあるものと思われますが、当面マイクロソフトの「ImageCreator」上とChatGPT上とで、DALL-E3の生成画像の商用的扱いが変わる可能性がある点に留意が必要のようです。

本題「StableDiffusionとの違い」

さて、ここからが本題です。スタジオ真榊では１年近くに渡って画像生成AI、とりわけStableDiffusionを使った生成を主に研究してきましたが、DALL-E3はSDとどのように違い、登場はどのようなインパクトをもたらす可能性があるのでしょうか。

あくまで短期間触った感触ですが、DALL-E3の特徴として以下のようなアドバンテージを感じました。

①テキスト指示に対する表現の正確さ、クォリティの高さ

とにかくどんなテキスト指示でもかなり正確に、クォリティの高い画像を生成できる。フォトリアルからアニメタッチまで幅広い再現力があり、構図を構築する力も高い。

②1024✕1024ピクセルの画像4枚を10秒ほどで生成できる速度

③自分のPCの能力に依存せず、ネット環境さえあれば画像生成が可能であること

④Microsoftアカウントさえあれば無料で即生成できる敷居の低さ

思い立って１分以内にここまで高品質な画像生成体験を味わえる点は、過去にないアドバンテージ。StableDiffusionの最新モデル「SDXL」も非常に高いレベルでの画像生成が可能だが、高価なグラフィックボードとPC知識が必要で、生成時間もかなり掛かる。この点は「Niji journey」も同様だが、現時点では有料会員にならないと生成できないこともあり、この「ハードルの低さ」は今後の画像生成シーンを大きく変化させる可能性がある。

⑤プロンプト構築の簡単さ

Niji journeyでも日本語でのプロンプト指示は可能ではあったものの、高品質な画像や思い通りの画像を生成するためには、ある程度の習熟やプロンプト知識が必要だった（画像生成のうまい・へたが明確にあった）。DALL-E3はかつてないほどに自然な言語入力が可能であり、予備知識がほぼ必要ない。高齢者でも高品質な画像が生成可能と言える。

⑥生成画像の破綻の少なさ、文脈の正しさ、表情の強さ

全く指が破綻しないとか、意味が分からない謎の画像が生成されないかというと、そんなことはない。ただ、これまでの生成AIモデルに比べると、かなり高品質であることは確か。とりわけ強調したいのは表情の強さ。StableDiffusion系のモデルは表情の変化をつけるのがなかなか難しく、怒り顔、泣き顔はワンパターンで、あいまいな笑顔になってしまうことが多かった。Niji journeyも漫画的な極端な表情は可能ではあったが、DALL-E3はこの点、かなり豊富なバリエーションを持っていることがわかる。SDを使ったAI漫画は感情表現に乏しい印象があったが、DALL-E3を漫画やイラストに利用できるようになれば、こうした課題も解決に向かうかもしれない。

SDにできてDALL-E3ではできないこと

DALL-E3が画像生成AIの利用シーンを変える「ゲームチェンジャー」になりそうなのは間違いないとして、ではNovelAIユーザーが減ってしまったときのように、これでStableDiffusionの存在価値が落ちてしまうのかというと、そうでもなさそうです。

①text2image以外の機能に乏しい

前述の通り、DALL-E3の強みは誰でも簡単に「Text2image」、つまり文字を打ち込んで画像を生成する体験が高品質にできる、という点なのですが、これはそのまま裏返すと、テキスト指示以外の機能は一切備えていないということでもあります。

　　　　　　　　　　　▲StableDiffusionは超複雑？

StableDiffusionとその各種webUIは、Controlnetやimage2image、各種アップスケール、追加学習、モデルマージなどなどといった画像生成AIの根幹に関わる操作・機能を備えており、より創作的な画像生成ができるという点において、DALL-E3とは全く違うアプローチの存在だということができます。要するに、「超わかりやすいけど複雑なことはできない」DALL-E3と「分かりにくいけどいろいろできる」SDで、上手に棲み分けができるのではないか、という印象があります。

②利用規約の厳しさ、生成できるコンテンツ範囲の狭さ

プラットフォーム系・オンラインサービス系の画像生成は基本的に利用規約に強く縛られるため、完全なnsfw（18禁）表現だけにとどまらず、少しでもそうしたニュアンスを感じさせるイラストを生成することはできません。この点、追加学習を含めて非常に広範囲な画像表現が可能なローカル生成とは対極に位置するサービスといえます。

③ユーザの創作性を反映させる難しさ

①とも重なるところがありますが、画像生成を繰り返していくうちに、自分らしさの表現を突き詰めたくなるユーザーは多いと感じています。初期は「プロンプトを磨くこと」でしかそれができなかったのですが、DALL-E3の登場でプロンプト技術による品質差をアピールすることは良くも悪くも難しくなったと言えます（おじいちゃんでもすごいイラストが出せる）

StableDiffusionではモデル選びや各種拡張機能を使いこなすこと、また、スタジオ真榊がいま取り組んでいる自ら描いたイラストの「清書」といったことで、人間の創作性を生成画像に反映させることが徐々に可能になっており、こうした分野ではまだまだDALL-E3でできることは少ないと感じています。

終わりに　ー　今後生成AI界隈はどうなっていくのか

そんなわけで、10月最初のFANBOX記事「画像生成AI"DALL-E3"はどう凄いのか？StableDiffusionユーザーから見た"違い"」でした。

DALL-E3はまだ1日触っただけですが、本当に高いポテンシャルを秘めていると感じています。正直、SD系モデル（特に1.5系）が学習している範囲と比べて、「プールと湖」くらいの学習規模の差を感じました。フォトリアル系・アニメ系・シンプルイラスト系など、画風にとらわれない幅広い表現が可能なことはかなりの衝撃。今後ChatGPTと連携することで、Controlnetのようなアプローチ…例えば「この写真をそのままアニメタッチに変えて」「女の子の制服部分だけをメイド服に変えて」「この画像とこの画像を合成して」といったことがChatGPTとのやりとりベースで可能になってしまうと、いよいよ複雑な知識と高価なグラフィックボードを必要とするSDからの移住が進んでしまうのではないかなと思います。

ChatGPT plusユーザーがDALL-E3を利用できるようになるのは「10月初旬」ということですから、NovelAIの登場からちょうど１年の節目に、あのときと同じくらいの大きなゲームチェンジャーが上陸してくると言っても過言ではないと思います。引き続き、「何ができるのか」ではなく「創作にどう役立てられるのか」「どう使ったらどうなるのか」という点に着目しながら、検証を進めていきたいと思います。

それでは、本日はこのへんで。スタジオ真榊でした。