
<記事内容の要約>
・SDXLで生成したキャラ画像に、NanobananaProで「一貫性のある背景」(アングルやライティングが変わっても同じ空間に見える背景)を作る研究
・部屋の「間取り作り」を挟んだり、4分割で同一空間を一発生成したりする各種手法の有効性を検証
・一貫性のある背景を作った後、キャラクター部分と自然に馴染ませるやり方が理解できる
こんにちは、スタジオ真榊です。今回はイラストや漫画制作における「一貫性のある背景」をAIで作るテクニックについての特集記事です。これまでは主にcontrolnetやインペイントを駆使してSDXLの苦手な背景描画を補うのが主体でしたが、その後NanoBananaProをはじめ新技術が充実してきましたので、改めて2026年環境における現在位置と限界をあれこれ掘り下げてみました。(これまでの特集はこちら)
今回の特集では、例えばこちらの例のように、まず漫画やイラストの背景となる場所を一貫したデザインで作り出してから(左上)、それを普段のSDXL画風に変換して(右上)、さらにそれぞれの部屋の別アングルも量産し(左下)、最終的にキャラクターをそこに配置するまでの最適解を検証しています。いずれもNanobananaProを使った作例です。
SDXL背景よりもはるかに破綻が目立たず、アングルが変わっても一貫した背景を再現できるので、手描きイラストにAIで背景をつけたり、漫画作画において背景制作をAIで行う等の用途に有用かと思います。この特集を公開する直前にNanoBanana2がデビューしてしまいましたので、一部は「2」でも同じことが可能か試しながら検証しています。【約1万7500文字】
目次
1.「AI背景」のこれまで
<NanoBananaでできるようになったこと>
<一貫性のある内装を再現するには?>
2.舞台の「間取り」を作る
・間取り図、いらない説
3.分割図プロンプトを作り込む
<間取り図を逆算できる?>
<プロンプト変更テスト>
4.写真背景toイラスト背景
5.キー背景からのアングルチェンジ
6.キャラクターとの合成
<リビングルームで検証>
<ベッドルームで検証>
7.背景をSDXL画風に戻すには
<①img2imgで上書きする>
<②インペイントする>
終わりに NanoBanana2公開で何が変わる?
1.「AI背景」のこれまで
画像生成において、キャラクターデザインの一貫性を保つよりも難しいのが、「背景の一貫性」を保つことです。特にSDXLでは、一度生成した背景を同じように再現することがほとんどできません。浜辺などの開けた自然空間ならまだしも、このような人工的な背景だと大きく破綻してしまいます。これは、SDXLがこれらのオブジェクトの機能や意味を理解していない(=世界知を持たない)ことに起因する現象です。
SDXL用に「背景LoRA」を作ることもできますが、再現できるのはあくまで「コンセプト」だけですので、毎回同じ部屋を呼び出すというわけにはいきません。
▲Civitai「Anime Otaku Room - アニメ オタク部屋 - Indoors - Messy Room - Interior - Background」
そこで考えられたのが、Controlnetやインペイントを使って、あらかじめ用意した「正確な無人背景」にキャラクターを合成するやり方。「同じ部屋」の画像バリエーションが手元にあるのであれば、SDXLでも「同じ部屋」を再現することができます。しかし、インペイント元と生成モデルの画風が揃っていないと、このように境目が露骨に見えてしまいますし、そもそもその「正確な背景の素材」をどう揃えるのかという問題があります。
もっと難しいのは、漫画などで一度登場した背景をもう一度別アングルで登場させたい場合です。SDXL単独で「同じ部屋の別アングル」をつくるのは困難なので、これまでの特集ではWan2.2を使って推論するなどの手法で、なんとかクリアしてきたものでした。
<NanoBananaでできるようになったこと>
その後、2025年になってNanoBananaが登場し、AIを使った背景作りの手法は一変しました。NanoBananaProやQwenImageEdit2511といった最新の画像編集モデルでは、自然言語指示で破綻のほとんどない自然な背景を生成することができますし、入力したキャラクター画像の背景だけを任意に変更したり、用意した背景と合成したりすることができるようになっています。
例えばこちらの例では、白背景のキャラクター画像と風景写真をNanoBananaProに与えて「この背景の右側に女の子を立たせてください。背景は写真調で、キャラクターはイラスト調のままにします。その上で、逆光や影が自然に馴染むように美しく加工してください」と指示するだけで、イラスト調のキャラと風景写真を自然にコラージュすることができています。
さらに、できた画像を読み込ませて「キャラクターの背景を月面の写真にしてください。背景に青い地球が浮かんでいます。光や影が自然になるようにしてください」と指示すると、このような画像をぱっと出すこともできます。元画像のオレンジ系のライティングの影響もまったくなく、宇宙空間らしい色温度に調整できていますね。
背景の一括変更だけでなく、一貫性を保ったアングル変更もかなり自由にできるようになってきています。こちらの画像はローカル環境(ComfyUI)でQwenImageEdit2511を使ってカメラアングルを変更したものですが、家具の配置やカラー、ライティングなどを保ちながら、キャラクターも含めて別アングルを生成することができています。
今回の特集はここからさらに踏み込んで、漫画やイラストに使う「空間」をイチからデザインし、別アングルを簡単に量産することで、キャラの背景として気軽に使い回すことができるかどうかを検証することにしました。具体的には、QIE2511のアングル回転技術を使ってキャラLoRAを作る特集で冒頭だけ作ったこちらのマンションの内装作りをテーマに、各種実験を行ってみます。
<一貫性のある内装を再現するには?>
このときの特集でもNanoBananaProを使って背景を生成してみたのですが、簡単なテキスト指示だけだと、玄関ドアを開けるといきなりリビングに突入するというありえない間取りが出てしまいました。1枚絵ならまだしも、この例ではコマ割りにキャラだけを配置した画像を与えて背景を一発描きさせているので、NanobananaProといえども各コマにふさわしい背景を配置するのは簡単にいかないようです。
もちろん、NanoBananaProはプロンプト指示だけで破綻のない背景を生成することができるわけですが、生成するたびにマンションの外観や部屋の内装が変わってしまうのでは意味がありません。そんなときに、こちらの投稿を拝見したのが今回の検証のきっかけでした。
ドラマに登場する背景を「間取り」から作るという興味深い発想。かつ、立体模型を間に挟むことで、しっかり生活感のあるリビングルームを生成することができています。これをイラストや漫画でもできるなら、かなり革命的に感じます。さきほどの漫画では、少なくとも玄関・リビング・夫婦のベッドルームは複数コマに登場することになりそうなので、さっそくこのやり方を応用してそれらの部屋をデザイン・再現できるか試してみました。
2.舞台の「間取り」を作る
今回の舞台は何の変哲もない新婚夫婦のマンションであればよいのですが、頭の中が外国人であるNanoBananaProに「マンション」とだけ指示すると謎の洋風豪邸を出してきてしまうことが多いので、「千葉県内の夫婦向けマンション、2LDKの間取図を作ってください。ベッドルームと書斎。リビングキッチン」と少し具体的に指示してみました。
こちらはGemini3.0で指示したもの。
「東京海…?」となりますがとりあえずスルー。
こちらはGeminiではなく、FreepikでNanoBananaProに直接指示したものです。
一番ましに見えるのはこちらでしょうか。左下のスタンプいる?とかトイレが浴室のそこ?とかが気になりますが…。
ここは、Gemini3で作ったこれが一番イメージに近いので、これで進めてみます。あれこれ修正したいところですが、ここであれこれ手間が掛かるようだと絶対実践では使わないので、「ポン出しでもサクッとできる」やり方かどうかを確かめていきます。
さきほどのドラマの作例ではここから立体模型にしていくシークエンスを挟むのですが、たぶん漫画制作でそこまではできない(手間を掛けられない)ので、一発でここから実際の室内風景を出していきます。ただし、いきなり漫画調やイラスト調にするとさきほどのように間取りがおかしくなりそうなので、いったん写真風で出力することで正確性を担保したいと思います。
指示:4:3の横長画像。画面を四分割し、こちらの間取りを参考に、それぞれ以下の写真を生成してください。カメラは全てアイレベル、水平です。「玄関ドアを背に、西に向けて廊下を通してリビングを見るカット」「リビングの入り口から、西南方向へ室内を一望するカット」「リビングのソファをテレビ側から大きく捉えたカット」「寝室のベッドを大きくとらえたカット。北西方向」
Gemini3に指示してみると、こちらの画像がでてきました。1枚目の玄関がちょっと奥過ぎた(リビングまで入ってしまった)のを除けば、おおむね狙った通りにできていますね。また「右から左へ」などと指示するとAIは間違えがちなのですが、間取りをもとに東西南北で指示しているので、正確に指示が通っているように見えます。
ただし、これではいくらなんでもモデルルーム調すぎて、とても一般のご夫婦がお住まいの部屋には見えませんね。こちらはFreepikで同じ指示をした結果ですが、似たようなモデルルーム風になってしまっています。
これは、「千葉県内の夫婦向けマンション」という情報をプロンプトに入れ忘れていたのが原因。生活感のある部屋にしてほしいので、情報を加えてやりなおしてみます。
以下が新しいプロンプト。太字部分を修正しています。
指示:画面を四分割し、入力した間取りを参考に、それぞれ以下の写真を生成してください。千葉県内の夫婦が住む一般的なマンションを写したドラマのワンシーンです。室内は家具や家電などがあり、清潔ですが生活感がうかがえます。カメラは全てアイレベル、水平です。「玄関。靴脱ぎ場から西に向けたカットで、奥にリビングが見える」「リビングの入り口から、西南方向へ室内を一望するカット」「リビングのソファをテレビ側から大きく捉えたカット」「寝室のベッドを大きくとらえたカット。北西方向」
なぜか「Genkan」などと文字が出てしまいましたが、生活感は再現できました。なんだか、本当に知らない人の家に上がり込んだみたいでどぎまぎします。
枕とクッションがやたら多かったり、玄関(靴脱ぎ場)がなんだか妙なのはNanoBananaが「米国産」だからでしょう。面倒ですが「枕は二つ」などと細かく指定するしかありません。
何セットか生成して細部を観察してみると、東西南北で指示したアングルが全然違っていたり、カメラアングルごとに家具の位置が矛盾していたりといったミスは少なからずあるようでした。
とりあえず、1枚4カットずつありますので、いくつか拡大して各部屋の候補を選んでみます。まず、ベッドルームで比較的正確そうに見えるのはこちら。
リビングはこちら。比較的破綻が少ないと感じましたが、最初に作った間取りと見比べると、全然違ってしまっていますね。あまり間取り参考テクニックは再現性がなさそうです。
玄関は、奥にリビングが見える関係でこちらにしました。が、これも最初に作った間取り画像とは構造が違っています。
間取り図からすると、廊下の左右にはそれぞれ書斎とバス・トイレにつながるドアがあるはず。玄関ドアにも団地風の新聞ポストがついていたり、玄関ドアの開く方向が内開きでドアロックも逆だったりと、ちょっとイマイチな内容でした。
正直、ここまでの生成結果を見ると、間取り図をはさんで生成したにしてはイマイチな内容ですね。これなら、間取図を作らずにいきなり「画面を四分割し、それぞれ以下の写真を生成してください。千葉県内の20代夫婦が住む一般的なマンションを写したドラマのワンシーンです。室内は家具や家電、本などがあり…」と指示した結果と大差ないように思えます。
ちなみに、こちらは全く同じプロンプト・間取り図をNanoBanana2で生成してみたもの。文字のレンダリングが自然になり、生活感の表現などは悪くありませんが、やはりソファの背後が壁になっていたり空間になっていたり、間取り通りの一貫性が保てていません。
間取り図、いらない説
ここまでの検証では「間取り図、あんまり意味がないのでは?」という感触です。そこで、今度は間取り図を参照させず、NanobananaProとNanoBanana2にそれぞれ以下のように指示してみます。(つまり純粋なtxt2img)
指示:画面を四分割し、それぞれ以下の写真を生成してください。千葉県内の20代夫婦が住む一般的なマンションを写したドラマのワンシーンです。人物は写さないこと。室内は家具や家電、本などがあり、清潔ですが生活感がうかがえます。カメラは全てアイレベル、水平です。「玄関ドアを背に、西に向けて廊下を通してリビングを見るカット」「リビングの入り口から、西南方向へ室内を一望するカット」「リビングのソファをテレビ側から大きく捉えたカット」「寝室のベッドを大きくとらえたカット。北西方向」
<NanobananaProの生成結果>
玄関ドアは相変わらず団地風ですが、ソファセットとダイニングテーブルの位置関係はさほど矛盾していないように見えます。いずれにせよ、間取り図を挟むのとやはり大差ない結果に思えます。
<Nanobanana2の生成結果>
こちらは家具のデザイン自体は一貫性があるものの、ソファと掃き出し窓の位置関係がおかしくなっていますね。生成結果はもちろんガチャ次第ではありますが、Proと2でそこまでビビッドな違いは今のところ感じられません。
ここまでの検証結果をまとめると以下のようになります。
①NanoBananaProは家の間取図が作れるが、それを基にした各部屋の正確な生成はまだできない。
②現代日本風の室内を作ると、欧米と習俗が違う部分の描写はやや怪しくなる。
③間取図をはさまず、いきなり4分割画像で室内を生成したほうが手軽。ただし、位置関係はそこまで正確にならないため、実用的な背景を作るにはある程度プロンプトを書き込む必要がある
いったん間取り図テクニックは見送るとして、ではどのようなプロンプトで4分割画像を生成したら実用的な背景にできるかを次に検証してみます。
3.分割図プロンプトを作り込む
もう少し間取りに一貫性を持たせたいので、以下のようにプロンプトをブラッシュアップしてみました。工夫した部分を太字にしています。
指示:画面を四分割し、それぞれ以下の写真を生成してください。千葉県内の20代夫婦が住む一般的なマンションを写したドラマの背景素材です。室内は家具や家電、本などがあり、清潔ですが生活感がうかがえます。人物は写さないこと。カメラは全て成人男性のアイレベルの高さ、かつ水平です。「訪問者視点の玄関。靴脱ぎ場、廊下が見え、奥にリビングが少し映り込んでいる」「リビングの入り口から、室内を一望するカット」「リビングのソファを正面から大きく捉えたカット」「寝室のベッドを大きくとらえたカット。ダブルサイズで、枕が二つだけ並んでいる。布団はなし、シーツのみ」それぞれのカットで、家具の配置や間取りが矛盾してはいけません。文字は不可。
さきほどの生成結果がアイレベル(目の高さ)ではないケースが多かったことや、人物が写り込んだイラストになってしまったこと、枕がやたら増えてしまうことなどを踏まえて、あれこれ変更しています。
こちらがNanobananaProの生成結果。
足元を映そうとするとどうしても視点が下がってしまうのか、玄関の「アイレベル」にするのはうまくいきませんでしたが、ほかはおおむね問題なさそうですね。玄関・リビング・ソファの3カットとも、家具の位置関係に矛盾はありません。
こちらは別カット。こちらはソファセット周辺の位置関係が矛盾してしまいました。
同じプロンプトでの3枚目。比較的破綻が少なめに見えるので、今後はこちらの画像を使って検証を進めることにします。
<間取り図を逆算できる?>
この4分割画像だけで背景バリエーションを増やしてもよいのですが、ここに正確な間取り図を添えられれば、より正確な別アングルが作れそうな気がします。そこで、今度はさきほどと逆に、この画像を基に間取図を描いてもらえるか試しました。
指示:@img1 をもとに間取図を描いてください。千葉県内の夫婦向けマンション、2LDK。ベッドルームと書斎。リビングキッチン。
こちらが生成結果。
見比べていただくとすぐ分かるのですが、これは全然だめでしたね。本当なら玄関に入ったらまっすぐ奥にリビングが見えるはずですし、「通場所」なる謎の間取りができてしまったり、使い物になりそうもありません。未練がましく検証してしまいましたが、やはり間取り図テクニックはあきらめたほうがよさそうです。
ここまでで分かるのは、まずさきほどのプロンプトで4分割構図を生成すると、少なくとも家具のデザインや室内の雰囲気の一貫性は取れるということ。ただし、間取りまで正確にできるかどうかはガチャ次第といった雰囲気でしたし、このプロンプトに汎用性があるものなのかもまだ分かりません。そこで、別の風景に書き換えてテストを行いました。
<プロンプト変更テスト>
さきほど使ったリビング用のプロンプトを以下のように書き換えて、日本の学校の背景が生成できるか確認してみます。
指示:画面を四分割し、それぞれ以下の写真を生成してください。日本の一般的な高校を写したドラマの背景素材です。人物は写さないこと。カメラは全て成人男性のアイレベルの高さ、かつ水平です。「教室の室内を斜めに捉えたカット。机が整然と並んでおり、教壇が見える」「グラウンドを2階から一望するカット。サッカーのゴールが見える」「体育館を捉えたカット。バスケのゴールが見える」「教室が並ぶ廊下。ロッカーなどが見える」それぞれのカットで、家具の配置や間取りが矛盾してはいけません。文字は不可。
こちらがNanobananaProの生成結果。
マンションに比べて高校には妙に解像度が高いですね。もう一度生成してもこのような感じで、特に大きな違和感はありません。(教壇が一段上になっていないとかはありますが)
今度は、ややきわどい指示が受け付けられるかも試します。
指示:画面を四分割し、それぞれ以下の写真を生成してください。日本のラブホテルを写したドラマの背景素材です。人物は写さないこと。カメラは全て成人男性のアイレベルの高さ、かつ水平です。「ラブホテルの玄関」「ラブホテルの室内。大きなベッド、枕が二つ」「ラブホテル室内、ソファを捉えたカット」「シャワールーム」それぞれのカットで、家具の配置や間取りが矛盾してはいけません。文字は不可。
こちらはNanobananaProの生成結果。
こちらはNanoBanana2です。
おお…なんというか…そんな感じの認識なんだ!?という感じですね。いずれも、細かく見ていくと間取りが間違っているケースはありますが、家具の一貫性は取れています。
とりあえず、このようなプロンプトで4分割生成すれば、ある程度写真ベースでの風景生成はできることがわかりました。ここからは、入手できた写真背景をもとに、キャラクター画像に馴染むイラスト・漫画背景にできるかを検証してみます。
4.写真背景toイラスト背景
いきなりイラスト背景を生成するのではなく、写真調で作ってから変換するのは、細部の正確性を担保するためです。まずは先ほどの4分割画像を使って、正確で一貫性を感じられる室内の4カットが作れるか検証します。
指示:同じ間取りのアニメ背景を生成してください。(※NanobananaProの作例)
「アニメ画像に変更してください」と指示したところ、ほとんどフォトリアル調から変化がなかったので、「同じ間取りのアニメ背景を」とひねってみました。やや暖色がかったNanoBananaのマスピ画風にはなりますが、ほどほどに良い感じにイラスト調になっています。
もう少し理想の画風に寄せたいので、もう一枚参照画像を増やします。こちらの画風を再現することはできるでしょうか。
このように、4分割画像と画風参照画像の2枚を参照させ「@img1 と同じ間取りのアニメ背景を生成してください。カラーやタッチは@img2を再現してください」と指示してみます。
こちらが生成結果。フラットな塗りがほどよく再現できて、暖色すぎるマスピ感もなくなり、全体に違和感のないタッチになったかと思います。
次は、白黒の漫画調にしてみます。
指示:白黒の漫画調に変更してください。文字は不可。
情報量の調整は自分でやらないといけませんが、とりあえず言われた通りのことはできるようです。NanoBananaは「漫画」という指示が入るとすぐ「バァーン!」とか文字を出してくるので、先回りして「文字は不可」と強調しておくとよいです。
それぞれ、画風変化は問題なくできそうですので、次の段階。これら4枚の「キー背景」を基に、任意のアングルチェンジはできるでしょうか?
5.キー背景からのアングルチェンジ
4分割画像そのままだと使いづらいので、このように4分割画像を大きくズームアップし…
「Shift+Win+S」の範囲指定スクリーンショットでこのように切り出したものを「寝室のキー背景」とします。これを新たな入力画像に指定し、アングル変更を試みます。
以下のように指示しました。
指示:画面を四分割して、この部屋をさまざまなアングルからとらえてください。ただし、目線はいずれも水平のアイレベルです。
良い感じですね!ただ、なぜか左上の一枚は2回とも入力画像と同じになってしまいました。これでは効率が悪いので、プロンプトを付け加えます。
指示:画面を四分割して、この部屋をさまざまなアングルからとらえてください。目線はいずれも水平のアイレベルです。4枚の中に入力画像と同じアングルは使用しないこと。
多少改善しましたが、2枚目はやはり同じカット(左下)が出てしまいました。「水平・アイレベル」の指示でアングルの選択肢が狭まっているのが原因かもしれません。
最終的に、「画面を四分割して、この部屋をさまざまなアングルからとらえてください。俯瞰やベッドを水平にとらえたカットも混ぜること。4枚の中に入力画像と同じアングルは使用しないこと」と選択肢を増やすと、このようによいアングルを増やすことができました。
このようなフローなら、「4分割画像で舞台設定ガチャ」→「気に入った1枚のアングルを増やす」がさほど苦労なく取り出せるはずです。別アングルの量産はNanoBananaProではなく、QwenImageEdit2511でも可能ですので、使いやすい方を選ぶと良いでしょう。(QIEなら失敗も気にせず、外出中ずっと別アングルをガチャし続けることもできます)
引き続きNanobananaProを使い、リビングルームでも同じプロンプトを試してみます。(※先ほどは"ベッド"としていたところを"ソファ"に変えました)
指示:画面を四分割して、この部屋をさまざまなアングルからとらえてください。俯瞰やソファを水平にとらえたカットも混ぜること。4枚の中に入力画像と同じアングルは使用しないこと。
こちらも、おおむね問題なくバリエーションが出せました。
6.キャラクターとの合成
次は、できた背景をキャラクターと合成できるかどうかを検証します。SDXLで生成したキャラクター部分はできるだけ変更してほしくありませんし、かといって背景を単に合成しただけでは、キャラクター部分と調和せず「雑コラ」のような印象になってしまいそう。自然になじませるにはどうやるのが一番よいのか、あれこれ試しました。
<リビングルームで検証>
まずはリビングルームの画像で検証してみます。以下のように、単純にキャラの背景をこの部屋に変更するよう指示してみました。
しかし、このようにやはり単に合成しただけの「雑コラ」風になってしまいました。暖色がかったNanoBanana風のものと合成させたので、見たまま「ああ、SDXLにNanoBananaProの背景を合成したのね」という印象ですね。
「リビングルームの画像を単純に合成はしないこと」と念押ししてみますが……
指示:@img2のキャラクターの背景部分に、@img1と同じリビングルームを描いてください。キャラクター部分は変更しないこと。リビングルームの画像を単純に合成はしないこと。背景はアングルやカラー、タッチ、ライティングを自然に調和させて、新たに生成してください。
こちらは、むしろキャラクター部分のカラーやライティングを背景のNanoBananaPro画風に揃えた感じになりました。確かにさっきより自然ではありますが、やってもらいたいこととは逆ですね。
うまくいったのは、むしろアニメ調に変換した背景ではなく、最初に作った写真調の背景のほうを入力して、次のように指示する手法でした。
指示:@img1 のキャラクターの背景部分に、@img2の写真と同じリビングルームを描いてください。キャラクター部分は変更しないこと。背景部分はキャラクターに調和するアニメ調にしてください。
わざわざ背景の画風をキャラにそろえたのに、最初の写真調のままで参照させたほうがうまくいったというのは皮肉ですが、試してみないと分からないものですね。逆に言えば、写真調で背景を作るのはそれなりに意味があったと前向きに受け止めることもできるでしょうか。
拡大するとこう。カラーがキャラ部分と大きく変わらず、より自然に背景と調和したように見えます。ただ、これでもまだ写実的すぎて、キャラクターが浮いているかもしれません。
今度は、「一部は大胆に省略して、情報量を調整してください」と指示してみます。
指示:@img1 のキャラクターの背景部分に、@img2の写真と同じリビングルームを描いてください。キャラクター部分は変更しないこと。背景部分はキャラクターに調和する手描き調にしてください。線画のタッチやカラーをキャラクターと調和させ、一部は大胆に省略して、情報量を調整してください。
本棚のあたりの線がラフになって多少情報量が改善されましたが、これでもまだ背景の主張が強すぎます。参照させている写真が逆光スタイルなので、それに引っ張られているようですね。そこで、次のように変更してみるとうまくいきました。
指示:@img1 のキャラクターの背景部分に、@img2 の写真と同じリビングルームを描いてください。キャラクター部分は変更しないこと。背景部分はキャラクターに調和するセルシェーディング調にしてください。
「セルシェーディング調」と画風を指示することで、イメージを近づけることができました。この部分はどのようなキャラクターを読み込ませるかで「水彩風」「手描き風」など改善の余地がありそうですが、このキャラクターならこれくらいがちょうどよさそうですね。
今回はNanoBananaProでキャラと背景が固着した1枚絵として出力しましたが、背景を任意の位置に拡大縮小して動かしたりカラーなどを調整したりしたい場合は、やはりキャラはキャラ、背景は背景で別に用意したいところです。原始的ですが、白背景でSDXL生成したキャラクターの背景をClipStudioやCopainterで透過して、NanoBananaProで用意した背景に合成するやり方がよいかなと思います。
さきほどのラブホテル背景でも、このように写真を参照させて試してみます。
こちらがNanobananaProでの生成結果。用意したイラストに合ったアングルの背景と合成させる必要がありますが、おおむね違和感なく背景をつけることができました。
<別ポーズで検証>
今度は、読み込ませた画像と「別ポーズ」で背景に合成できるかを試してみます。さきほどの例では、キャラクター部分はSDXL出力のまま、背景部分だけを合成しましたが、今度試すのは、用意した背景の中でキャラクターに演技をさせられるかどうか。まずはキャラクターとベッドルームの画像を参照させて、以下のようなシンプルなプロンプトで実験します。
このように、ベッドに座らせるだけならあっさり成功しました。ただ、シンプル指示だとやはり「NanoBanana調」になってしまいますね。全体に何となく暖色。
さきほどの「セルシェーディング調」指示を使って改善できるか試します。
指示:@img1 のキャラクターが @img2 のベッドに座り、恥ずかしそうにこちらを見つめています。背景部分はキャラクターに調和するセルシェーディング調にしてください。
さきほどのリビングルームと違い、キャラクターをポーズチェンジさせたので、やはり画風・顔立ちの変容が避けられませんでした。SDXLでは出せる魅力が大きく減じている感じがしますし、説明的すぎて漫画の一コマとしても面白みに欠けます。
それと、キャラがこのベッドに横たわった構図を考えると、このままのサイズでは恐らく足が飛び出てしまうので、縮尺がおかしいですね。このあたりはAIあるあるですが、サイズ感の調整も気を遣う必要があります。
7.背景をSDXL画風に戻すには
単純な背景合成ではなく、ポーズ変更を伴う場合、やはりSDXLの画風に揃えたいところです。いろいろなやり方がありそうですが、より自然な仕上がりにするなら、
①img2imgやADetailerで上書きする
②NanoBananaに任せずインペイントで座らせる
の二択が思いつきます。
<①img2imgで上書きする>
まずはこちらの画像をimg2imgしてみる手法を試します。プロンプトを打つのは面倒なので、タガー(WD1.4Tagger)を使ってこのように抽出してみます。タガーの使い方については、「キャラLoRA学習が理解る!最初に読んでほしいローカル学習入門」にある「WD1.4taggerの使い方」を参照のこと。
「ML-Danbooru Caformer dec-5-97527」を選んでタグ抽出すると、以下が抽出できました。
PP:1girl, long hair, blush, black hair, sitting, pants, solo, purple eyes, bed, indoors, curtains, looking at viewer, window, on bed, pillow, long sleeves, white shirt, shirt, bedroom, breasts, lamp, collarbone, between legs, hand between legs, sitting on bed, medium breasts, closed mouth, wooden floor, bangs, black pants, sweatdrop, eyebrows visible through hair, grey pants, asymmetrical bangs, sweat, hand up, bed sheet, nightstand, denim, embarrassed, jeans, feet out of frame, table, day, desk, hotel room, desk lamp, shiny hair, nose blush, shiny, hair between eyes, clock, large breasts, drawer, cup, book, very long hair
「cup」など誤検出されているタグを手動で整え、普段の鬼怒川さん(当該オリジナルキャラ)を生成するときのLoRAなどを加えて、img2imgします。すると、このようになりました。
img2img強度(ノイズ除去強度)は弱めの0.3にし、キャンバスサイズはやや大きめの2040x1523pxにしています。この程度のノイズ除去強度ならカラーは基本的にNanoBananaPro画像を引き継ぎますが、顔立ちは普段の画風に戻したいので、ADetailer(強度0.4)を使って普段の画風に強烈に戻しています。表情を変えたい場合は強度をもっと強め、ADetailerプロンプトも変更してOKです。
こちらは元画像と異なる表情である「seductive smile, half-closed eyes, open mouth」をプロンプトに加え、ADetailer強度を0.5まで上げたもの。このやり方なら、ある程度の表情変更が可能なことが分かります。
ただし、顔の側の手もADetailerに巻き込まれて変容する点に留意が必要。これを避けたい場合は、こちらの特集で紹介したSAM3を使ったワークフローを使う方法があります。
【失敗ポイント】崩壊するときは"Use separate width/height"をオンに
このやり方でADetailerの強度を上げると、顔が大きく崩壊してしまう現象が起こります。ADetailerは、そのときの生成キャンバスサイズをそのまま参照して切り出しサイズを決める仕様なので、今回のようにキャンバス全体のサイズが2040x1523pxと大きい場合、SDXLでは生成不可能なサイズなので画面全体が崩壊してしまうのです。そういうときは「Use separate width/height(異なる幅・高さを使用)」欄をオンにして、切り出しサイズを1024x1408pxや1024x1024pxなど、常識的なサイズに指定すればOK。
こうしておけば、ADetailerが切り出した顔周辺のマスクが1024px前後のサイズでアップスケールされるので、崩壊を防ぐことができます。
<②背景にキャラをインペイントする>
もう一つのやり方は、CNインペイントを使って背景に直接キャラクターを描き込む方法です。Controlnetのインペイント画面でキャラクターが座る部分をこのように塗りつぶして、先ほどと同じプロンプトで生成してみます。(Noobaiインペイントのやり方については、インペイントが理解る! NovelAIv4.5 vs Noobaiインペイントを参照のこと)
使用するプロンプトはさきほどと同じです。
PP:1girl, long hair, blush, black hair, sitting, pants, solo, purple eyes, bed, indoors, curtains, looking at viewer, window, on bed, pillow, long sleeves, white shirt, shirt, bedroom, breasts, lamp, collarbone, hand between legs, sitting on bed, medium breasts, closed mouth, wooden floor, bangs, black pants, sweatdrop, eyebrows visible through hair, grey pants, asymmetrical bangs, sweat, hand up, bed sheet, nightstand, denim, embarrassed, jeans, feet out of frame, table, day, desk, hotel room, desk lamp, shiny hair, nose blush, shiny, hair between eyes, clock, large breasts, drawer, cup, book, very long hair
するとこのように、塗りつぶした範囲に収まるようにキャラクターが配置されました。(ADetailerとHiresをオンにしています)
同じようにして、プロンプトの「sitting,feet out of frame」部分を「lying,on back,full body」などと変更したのがこちらです。
やり方はさきほどと同じで、txt2img画面でCNインペイントしているだけです。以下のように塗りつぶし、ほかはデフォルト値のまま。顔のADetailer(0.4強度)とHires(0.4強度で1.5倍)を掛けています。
ただ、ちょっと気になるのはキャラクター以外の背景部分の画質。Controlnetに読み込ませた寝室画像は、NanoBananaの4分割画像の一部をトリミングしただけのものなので、解像度が今一つなのですね。
4分割画像を使うのは、それぞれの画像の一貫性を保つためですが、代わりに細部の描画が犠牲になります。SDXLでアップスケールすると、せっかく一貫性を保とうとしている家具が別デザインに変容してしまいますので、読み込ませる前にNanoBanana系でアップスケールを入れるか、再描画をプロンプト指示するのが良いと思います。
まだNanoBanana2が公開されたばかりなので、このあたりの検証が深められていませんが、2日間触った感じでは、2はさほど描画力でProとの差がなく、生成速度やコストの安さを重視したモデルのよう。Seedreamなども新モデルが出てきているので、各種モデルの使い分けを試しながら、この手法をさらにブラッシュアップしていきたいと思っています。
終わりに NanoBanana2の実力は?
というわけで、NanobananaProを使った一貫性のあるAI背景特集でした。ちょうど記事完成というタイミングでNanoBanana2が公開されたので、今回の特集内容も即座に古くなってしまうかもしれませんが、取り急ぎ公開しておき、さっそくNanoBanana2の実力検証作業に移りたいと思います。
NanoBanana2は既にFreepikなど各種プラットフォームで利用できるようになっています。Freepikでは、2KサイズまでPremium+プランの無制限モード対応(月1000回まで快速生成)なので、基本的にNanobananaProと同じ感じの取り回しですね。
さっそく、「Pro」の最速レビュー時と全く同じプロンプトと入力画像であれこれ生成比較をしてみました。まずはいつものコンビの4コマ。
吹き出しの中は非常にきれいにレンダリングされるようになりましたが、Nanobanana画風になるところはあまり変化がありませんね。1コマ前の「バッタリ」感もそこまで進歩した感じがしません…というより、ナーフ(弱体化)してしまったかも。3コマ目の横からのカットや背景のぼかしは上手ですが、NanobananaからNanobananaProに進化したときのような衝撃的な変化ではなさそうです。
こちらは、いつもの3面図指定。これもいまどきのモデルはたいていできるので、驚きがありませんね。
もうちょっと無茶ぶりしてみたのがこちらのプロンプト。
指示:この女の子のコミカルな1ページのカラー漫画を作って下さい。画像生成AIにちなんだネタで、きちんとオチも作って下さい。セリフも日本語の吹き出しで自然に入れてください。コマの読み順は日本式に、右上から左下に向かうようにしてください。
なんかシュールすぎてこれはこれで笑えますが(笑)、微妙に文字の破綻も見えますし、今のところそこまでの超進化は見えてきません。しかし、漢字の正確さにはしっかりした進化を感じますね。
ほかにもあれこれ同一プロンプトで遊んでみましたが、今のところレンダリング能力以外にとりたててNanobananaProを圧倒的に上回る性能は感じられず、どちらかというと無料ユーザーも幅広く利用できる次期フラッグシップといった位置づけのモデルのようです。漫画生成では、「Proのほうが空気が読めているな」と感じることも多いですね。
とはいえ、まだ触り始めたばかりなので、早急な決めつけは避けたいところ。インフォグラフィック用途などあれこれ検証してみて、Proとの使い分けをどうするとよいか探っていきたいと思います。
それでは今回はこのへんで。スタジオ真榊でした。
Attachments (80)

v1gZ7ViqHriALi85277eOjF7.jpeg

mVJvKJT56FtiuhRrcD8oU55y.png

WMN2dGVF3i2MeiHn841Vtm6a.jpeg

Hq8OFd8XhQhZpTPQQ5HfsBt8.png

UidV5NYrXfdLjjzEm5uEFaiF.png

nnOGwXYulBIlXf0yvGM64uj5.png

4fvAL97GulZ3E4SJlSnkcvM5.png
寝室回転.mp4

sPLfPeQWnJTxJyv7uHLSDrO4.png

1oTyGASwONOLagudNMJz5FXv.png

kIdb5U4iTxE2lUcApP5OZuDT.png

fU8JYqEKTMXBPrf2Qk8hdcVM.png

WUD7IzRf3NPQZ7oHwbxQQNGv.png

sQAUNneuDtpyMs63uLN8Lxcr.jpeg

zxdns6M3iOBv83y1u9McCllS.png

6qnKFqPppMoULfwMAbipgBKz.png

4a4CCNVxLIjDqwGbYa3lSmZi.png

6BIDEWSlmue9FcLCSGf4XjqD.png

diGvrTpLGshYd6mqhEx4FCJv.png

aZwA8NU9mwnLGcpzaC29BnHu.png

5J7FyKfVdihEwXITZMj3qujP.png

wN17YIgX3U3dZqLKmezDY7gj.png

eXDm1y5CgmaZ6pe5V6EMQWYJ.png

21ugTZhW0McMvkl0gnH6t3yU.png

JFXYF3Nz4oJfTnNnzQE5CHo5.png

UJo4hH4oMyqUg5d7nnk6BZJE.png

4QI52aoswMw0bGvigQnFOcx1.png

xAlLdCLRfqjgHxW0A70xbrKq.png

5NplPswZVxHsp5Bh3w18P5wX.png

CFqxFypq2srSfFFzdqH7Edy2.jpeg

5q5EeqWEqnkrbWsWvr4b2Z8X.png

3NmdHeA7k3CiFMnLs3be1IsI.png

dhs01xRxI96FLA9qocVsrrcd.png

AzqU0jVdYjeiNRAd5S0TrSEx.png

EQQVlWriPwAOjbWePdshs5vn.png

6i0xzf3sDe7HY6XKEqAATSrn.png

C6GpRJus4JJGKjVnZThwDFKR.png

OFghsaxAzHtwRIek8Q3CwXR8.png

YpwSmV9i2VhYGFXYlhuPYBDp.png

F8hXeSk8zSgMg5aUgy2axk0C.png

CEC8LKTUYX8NqncSuMKauMzF.png

qGN57O3ID6bh4CbFaVbMl7MM.png

bFESjH7yc3jAZ7VPFAI1dT9b.png

XXzCrkjRApyOFDJMIyAJCb3a.png

jklHIYqQ20hrPQNOaES0m1S3.png

WQuJcgpgecsRihCjo0L4GJ6r.png

Ix0D5rALQDGjVtYFajeO3M7H.png

x8FpbejU6Z36DRA17sD87COC.png

CCYo0qSDVWQFAVYilh3NMCF6.png

QhIKpcdpvKE8P4t2AiI0L2RS.png

SGwkHNTQyTfVuZIR2qqBPPO2.png

8H8eo6WnM8KM436o45gkmUzP.png

q5fMu1K8nHbevkYMWveSvX4R.png

8V1vZSCqX6nL4mK8UJjPSndp.png

az7UXr3yZdK0lcR1Dwggr4nO.jpeg

1lQHINVlDv0744jEuGEwBuiw.png

5mZMiczsFmYXv49A3GdNRd8u.png

nSBL0q57m0tWzjkiXAtj6dOO.png

aqxeG6iKpGsQOcQZH0mYtQXW.png

HqlE7CCh9qKksvMzZA4eZhyD.png

8JGgpFdhfIxShotl3V9cpE4o.png

qvEz9mtHldn7PCtoYw9SvNOH.png

zSHvaV76hj2AyHGGWl5hY0Mr.png

3K890u0Ba42FjfLBaNwbPPd4.png

oKTPYvlOPhD9RlUmYZKEr5gg.png

Hm3bIYvuw3uiVwkptX1b90Qy.png

MVVZIfsHu7v9QBRg7rnO2xkJ.png

4nr1e6SvEEvFvNdLIfTutNDa.png

C9CpEhAHQ5dgryVmc1lZtI7p.png

r1nFDedL24lNpPQsqbXWFBwc.png

gcEEomI3H8lg16jGIBc0kCvJ.png

mdNxeEvKa9kvT9LM2wABUaj4.png

OExzOd3mquncgGPFDVwk6wGW.png

sabdrWnY1SjOzPWPPtWklmkA.png

ds6RWgRae1dqHFV4vFKmLoqN.png

TA9YYQ3KPNnPz5aXUPDxi401.png

4josn0rYZ5g6JetIMOcXD27Q.png

d3r2C6QTmJfzQlfl8okyfkk9.png

E5fXFHOD0EaRtFvaQE4rI0Tp.png

x6jXJm30ugbqgTO0tdsHWPLT.png
