「Copita」v1.2公開　学習精度が向上、層別学習機能も

こんばんは、スタジオ真榊です。

1枚の画像からSDXL / Anima向けの画風LoRAを作れるアプリ「Copita」をv1.2にアップデートしました。Anima用画像の前処理を刷新し、学習精度を向上しています。また、こちらの記事でAnima向けLoRA学習の検証を行ったことを踏まえ、クロスアテンション・セルフアテンション・MLP別の学習率を設定できるようにしました。その他、報告のあった不具合の修正や安定性向上のためのアップデートを多数施しています。

v1.2のアップデート概要

v1.11から更新された内容は以下の通りです。

・Anima用画像の前処理を刷新しました。以前は縦長・横長の画像をいったん正方形にしてから学習していましたが、元の縦横比のまま学習できるようにしました。（長辺1024以下・64px刻み）

・学習画像に目視では分からない程度の微妙なぼかし＆リサイズを施してバリエーション化することで、画像の細部の「丸暗記」を防ぎ、狙った差分（画風や線の太さ）だけをLoRAに残しやすくしました。BoldLoRAなどのスライダー系LoRAで、色や質感、構図など狙っていない部分への影響を抑制する狙いです。

・Anima向けにSelfAttn、CrossAttn、MLPのLR倍率スライダーを追加しました。コピー機LoRA法では結局すべて1.0のまま使ったほうが無難な結果になることが多いので、既定値は1.0/1.0/1.0です。構図変化などの副作用が出た場合にだけ手動で下げて試す、実験用の設定としてお使いください。

・「安定学習セット」の安定化設定を見直しました。

・Animaで画風LoRAを作るときは「詳細学習セット」、線の太さ・体型などスライダー的なLoRAは「通常学習セット」を推奨するメッセージを追加しました。

・SDXL学習にmin-SNR Gamma 5を追加し、学習途中の偏りを抑えて、より安定してLoRAを学習できるようにしました。

・1枚目の画像をクリックではなくドラッグ＆ドロップで入力すると、右側に比較画像作成用プロンプトが表示されない不具合を修正

・高速でタブを行き来した時に画面が空白になる、設定欄が重複表示されるなどの表示不具合を修正

・学習開始前にディスクの空き容量を確認する機能を追加

・VRAM不足時に、安定学習セットやlowramの利用を案内するよう改善

・学習ログに「完成まで」のざっくり推定時間を追加。学習開始後しばらくは「計算中」ですが、１つめのLoRAの学習がある程度進むと表示されます。

・タグ付け失敗時に原因を表示し、操作できない状態にならないよう改善

・Animaモデルの判定結果をキャッシュし、モデル一覧の読み込みを高速化

・一時的な学習フォルダは直近3件だけ残すよう整理し、肥大化を防止

・学習に必要なsd-scriptsは、初回セットアップ時に検証済みの固定バージョンを自動ダウンロードするようになりました。GitがインストールされていないPCでも、そのままセットアップできます。

・画像入力時にファイル名とサイズを表示します。

・配布ZIPを環境構築前のファイルだけに整理し、容量を大幅に削減しました。

ダウンロードとインストール

・こちらのv1.2を好きな場所にダウンロードし、解凍します。（v1.11のフォルダに上書きはしないでください）

・初回のみ、「setup_first_time.bat」をダブルクリックします。専用のPython環境、sd-scripts、タグ推定モデルが自動で準備されます（Gitは不要です）。finishedと表示されたら、黒い画面を閉じます。

・「start_copita.bat」でCopitaを起動します。（今後もこちらのbatファイルが起動ファイルになります）

（※起動時に「ImportError: DLL load failed while importing arrays: アプリケーション制御ポリシーによりこのファイルがブロックされました」などとエラーが出る場合は、Copita-FAQの「Q. 起動時に"このファイルがブロックされました"と出た」をご覧ください）

・「保存先」「modelsフォルダ」は、v1.11で使っていたものと同じ場所を指定すればそのまま使えます。

・学習履歴タブの内容は、前のバージョンのCopita内の「Copita/learning_history」フォルダを新しいCopitaへコピペすればv1.2に移行できます。

実際のAnima向け学習例

今回のアップデートは内部的なものが多いので、基本的な使い方はこれまでのv1.11と変わりません。

①画風LoRA

画風LoRAの場合、このように左側にお手本となる画風の画像を入力し、右側に比較用の差分画像を入力します。二つは「同じものが描かれているが、覚えさせたい概念（画風）だけが違う」状態にするのが重要です。

画面左側で1枚目の画像を入力したら、右側に比較画像生成用のプロンプトが提案されるので、それを使って比較画像を簡単に作ることができます。（このとき、ChatGPTなら「n=10」と追記すると10パターン表示されるので、厳選するとLoRAの品質がよくなります）

画風LoRAの場合は、より多くの内容を覚えられる「詳細学習セット」推奨です。「カラーを重視」がONになり、右側の比較画像を内部的に白黒にした上で学習するので、よりお手本のカラーリングを強調して覚えてもらえます。

学習のベースモデルはanima base v1.0を使用し、生成時もanima base v1.0を使うのが最も安定した結果になります。別のファインチューン済みモデルに適用すると、LoRAが覚えた画風とそのモデルの画風が混じったスタイルになるためです。

こちらができたLoRAで生成した例。強度0.8で適用しています。（プロンプトはtsurime,grinだけ共通、高速化LoRAを適用し、ステップ10スケール2でbatch4生成）

grinだけだと分かりにくいので、こちらは無表情。目だけでなく塗りや線、ハイライトなどもよく抽出できていると思います。ただ、どうしても強烈なツリ目効果は出てしまうので、たれ目にも対応したい場合はデータセット学習の方が向いていると思います。

ちなみに、こちらが「通常学習モード」で作ったLoRAで生成した例。一見ほとんど変わらないように見えますが、まつ毛の形状など細部の学習がやや甘くなります。

②Bold LoRA

今度はスライダーのように線画を太くしたり、細くしたりするLoRAを作ってみます。いつものこちらのペアを使います。

今度は「適用したら線を太くする（マイナス適用で細くなる）」というシンプルな内容だけを覚えてほしいので、入力画像それぞれの瞳の描き方や影の塗り方など余計な要素はいっさい覚えてほしくありません。よって、余計なことを覚えないようにモノクロ画像同士で差分を取り、詳細学習セットではなく通常学習セットを選びます。

こちらが生成結果。

カラーでも試してみます。

カラーの方が顕著ですが、「線画の太さ以外は完全にそのまま」というわけにはいかず、わずかに画角などが変化しているのが分かります。v1.11よりも副作用は小さくなりましたが、効果を強めていくと、構図などに一定の変化が出るのは避けられないようです。

ちなみに、ランダムなプロンプトだと変化が大きいですが、キャラLoRAなどを使って容姿を確定してしまえば、ここまで副作用は小さくできます。

フュージョンモードを使って同種のLoRAをいくつか作って掛け合わせることでも、副作用をある程度低減することができます。

「層別Copita」の検証結果（参考）

今回搭載したAnima向け層別学習機能は、「線画関係のLoRAはセルフアテンションだけ学習すると副作用が抑えられる！」といった使い方を期待したのですが、あれこれ実験したところ、基本的には「効果はあるが、デフォルトの1/1/1で使用したほうが全体に無難」という結果が出ています。ご参考までに、ここまでの検証の概要をお伝えしておきます。

まず簡単な振り返りから。Animaには「セルフアテンション」「クロスアテンション」「MLP」という３つのモジュール（層）があり、それぞれ学習率を変えられます。３つの層には以下のような違いがあるのですが、前回検証したところ、単純に「セルフアテンションだけ学習しないと構図への影響が出なくなる」といったような便利な使い方はできず、逆に顔立ちなどが似なくなってしまう恐れがあることが分かってきました。

ただ、それは数十枚～数百枚のデータセットで学習する従来の方法の場合。Copitaのようなコピー機法で差分を抽出する際はもっと素直な影響が出るかもしれないと考え、あれこれ試してみました。

層別学習テスト

まず、v1.0のときに使用した2枚を使って画風LoRAを学習させてみます。設定は前回と全く同じで、層別の学習率だけを変更してみます。

「詳細学習モード」を選び、学習設定タブを開きます。一番下にこのような「Anima 層別LR倍率」という項目が追加されています。デフォルトは「1倍/1倍/1倍」ですが、画風LoRA用で「0.7倍/0.5倍/1倍」とするとどうなるか試しました。

37分ほどで学習終了。（RTX4080環境です）

こちらがXYZ比較です。

普通に良い感じで画風学習できているように見えますが、どう層別学習の影響が出ているのかが分かりづらいですね。そこで、以下の3パターンの学習率で作った三つのLoRAを比較してみます。

　　　self/cross/MLP

左列：1.0 / 1.0 / 1.0（３層とも学習）

中列：0.7 / 0.5 / 1.0（今作ったもの。二つのアテンション層の学習を抑制）

右列：0 / 0 / 1.0（二つのアテンション層を学習しない）

PP:1girl,solo,yukata,floral_print,hair_ornament,holding_food,cotton_candy,standing,smile,looking_at_viewer,cowboy_shot,summer_festival,night,outdoors,food_stand,paper_lantern,fireworks,crowd,bokeh,warm_colored

まず、二つのアテンション層を切ろうが学習しようが、画風はちゃんと分散して学習されていることが分かりますね。左列はクロスアテンションを学習させているので、学習が進むごとに左手にも「holding food」の影響でリンゴ飴のようなものを出そうとしています。中列でもその傾向はありますが、クロスアテンションの学習率が半分なため、影響が弱いように見えます。

特に最上段の手を見ると、アテンション層二つを学習させたものは指が悪影響を受けて溶けているのに対し、学習させなかったものはそこまでの影響を受けていません。綿あめを持っていない手に何かが生じたりもしておらず、「1枚絵ペアの差分で画風LoRAをつくる場合はMLPのみの学習が最も影響が少ないのでは？」という印象を持ちます。

が、その後の別実験でやはり悪影響もあることが分かりました。アテンション二つを全く学習せずMLPだけでも画風は学習できますが、その分人数や人物関係・属性の制御が不安定になるようです。

こちらは、最上段がLoRA強度1で、下に行くほど強まる設定で実験したもの。当然絵柄崩壊していきますが、崩壊の仕方からそれぞれの学習傾向が見て取れます。

プロンプトは以下の通りで、赤短髪のホワイトドレス少女と金髪黒ジャケット女がプラットホームにいるイラストという指示です。

PP：2girls, full body, standing far apart,one girl on the left with short red hair, wearing a white dress, holding a red paper umbrella,one girl on the right with long blonde hair, wearing a black jacket, holding a camera,different poses, train station platform, bench, railroad tracks, vending machine,strong perspective, evening, looking at viewer

分かりづらいですが、MLPだけの学習（000010）では２人から３人に人数が増えやすくなっています。色合いは3つの中で最も学習内容に近いのですが、強めるほどにプロンプト指示の「evening」ではなくなっていってしまいます。ただし、「左の赤短髪少女が赤い傘を持っている」という指示については、クロスアテンションを学習させたほうがむしろ失敗しています。

MLPだけ学習させると、画風の強制力が高まるかわりにプロンプト応答性が欠けてしまうようですが、一方クロスアテンションを学習したからといって正確性が上がるわけでもない……というのが今回の検証結果。層別学習は現時点では実験的機能ですが、もっと知見がたまってくると使い道や学習率の匙加減が分かるようになってくるかと思います。

終わりに

というわけで、Copita v1.2のご報告でした。いろいろ同時に準備を進めている最中ですが、「プロンプト大辞典」のAnima向け大刷新をやりたいと思っています。

現在の辞典内容はSDXLのWAI v14をベースにしたものなので、Animaでどのような適用結果になるかや、実際の運用上のTIPSなどをできるだけ書き込みたいと思っています。普通にエクセルでやると大変なので、このような辞典更新専用アプリをFable5で作りました。

あとは私が1か月くらいかけて1タグずつ説明を書いて生成例とデータベース化し、プロンプト大辞典on WebUI for Animaとしてまとめるだけです。頑張ろう！

というわけで今回はここまで。9月に生成AIなんでも展示会があるので、今度はぜひ見るだけではなく出展したいと思っています。ではでは。