キャラ画像を部位別にレイヤー分割！新技術「See-Through」検証

【2026/04/07更新】ビームマンPさんの専用webUIを使ったインストール法を記載しました。

＜記事内容の要約＞

・キャラ画像から髪・顔・衣装などを部位別レイヤーに自動分割し、見えない裏側まで推論したPSD素材を出力できる新技術「See-Through」の検証記事

・ComfyUIでの導入方法や実際のVRAM負荷、主要設定項目を解説

・Live2D向け素材作成用の技術で、通常のAIイラスト編集への応用は限定的かも

こんばんは、スタジオ真榊です。今回は、入力したキャラクターイラストを髪の毛や肌、衣装などの部位別レイヤーに自動分割する新技術「See-Through」の検証記事です。

こちらの出力例のように、本来は隠れて見えないはずの裏側の部位を推論してそれぞれレイヤー分割し、PSD形式で出力することができます。生成に掛かる時間はVRAM16GB搭載のグラフィックボードならおおむね4～5分程度。静止画をアニメーションさせられる「Live2D」の素材やVtuberアバターなどの画像素材作りを想定した技術ですが、普段のAIイラストやAI漫画作りに活用できるかどうかも検証してみました。

単体でかんたんインストールできる専用webUIや、ComfyUI上で簡単に動かせるワークフローが公開されており、VRAM16GB環境なら快適に動かすことができます。VRAM8～12GBでも生成できるVRAM節約機能も実装されていますが、時間が非常に掛かるほか、生成結果も劣化する可能性がありますので、その点は留意してお読みください。

See-Throughとは

See-Throughは、アニメキャラ画像1枚を入力するだけで、髪や顔、目、服など最大24種類の透過レイヤーに分割し、再び元の順に重ね合わせたPSDファイルとして出力してくれる技術です。入力画像は基本的に「前髪、後髪、首、上半身衣装、手袋、下半身衣装、靴下、履き物、尻尾、翼、その他（オブジェクト）」が区別して出力され、頭部はさらに「帽子（headwear）、顔、眉、まつげ、黒目、白目、眼鏡、耳、耳飾り、鼻、口」に分割されます。

「See-Through」の名の通り、別の部位の陰になって見えない部分を「透かし見た」ように推論してくれるのが最大の特徴。この画像では、本来顔や体に隠れている後頭部やポニーテール部分を完全な形で推論できています。

それぞれの部位が多少動いても破綻しなくなるので、まさにLive2Dの素材制作のための技術という印象ですね。もちろん、自動でアニメーション化までやってくれるわけではないので、分割した画像を思い通りに動かす技術は自分で学ぶ必要があります。（残念）

＜Huggingface Spaceでデモ体験可＞

こちらのHuggingface Spaceからデモ体験が可能ですので、インストールする前に使用感を知りたい方は試してみるとよいでしょう。できるだけキャラクターの全身が見切れずに収まっている正方形の画像を入力するのがコツです。

分割画像をバラバラにDLすることもできますし、各レイヤーが重なり合った状態のPSDファイルも出力されます。サイズ設定は小さめの768pxが推奨となっており、1280pxで生成すると制限に掛かってしまいますので、あくまで体験版という感じですね。

＜既存技術との違いは？＞

画像生成を使ったレイヤー分割技術といえば、「Qwen Image Layered」が思いつきます。こちらもキャラや背景をレイヤー分割して、見えない背後関係も推論できる技術ですが、髪や目などを部位・左右別に抽出することはできませんでしたし、まともに見えるレベルで分割するにはVRAM16GBのグラフィックボードで10分近く掛かるので、かなり取り回しが重い印象がありました。

ちなみに、イラスト支援AIサービス「Copainter」もQwen Image Layeredベースと思われる「レイヤー分け機能」をリリースしています。こちらは自宅PCで無理にQwen Image Layeredを動かすよりも正確・迅速にレイヤー分割でき、画像を入力すると数分程度で、このように「線画・下塗り・影・ハイライト」の四つに分割したPSDファイルが出力される仕組みでした。

AIイラストの編集用途としては、下塗りや影・ハイライトなどと線画の分割が高品質にできると大変助かりますが、現状では入力画像と全く同じ見た目のまま分割できるわけではないため、AIイラストに便利に活用できるようになるにはもうちょっとだけ進化が必要かな…という印象。

See-Throughがこのあたりのニーズを満たせるのか、さっそく試していきたいと思います。

See-Throughの導入方法

See-Throughの公式リポジトリはこちら。直接このリポジトリからインストールして単体（スタンドアロン）で動かすこともできますが、ビームマンPさんが4月5日に公開した専用webUIのほうが簡単・親切です。公式からComfyUI上で動かすためのワークフローも公開されていますので、どちらかの方法でインストールしていきましょう。

＜ビームマンPさんの専用webUIでインストールする場合＞

リポジトリはこちら。

インストールは大変簡単で、リンク先の「最新版をダウンロード（ZIP）」をクリック▶Releasesページからsee-through-webui.zipをダウンロードして展開するだけです。あとは展開したフォルダ内にあるinstall.bat をダブルクリックして待つだけで、上記ツイートのようなwebUIが使えるようになります。

＜ComfyUIのワークフローで動かす場合＞

ComfyUIで動かす場合は、こちらがリポジトリです。

ComfyUIの導入がまだ / 操作方法を忘れた方は、こちらの完全入門ガイドを参照のこと。

インストール方法はここに書かれている通り。ちょっと分かりにくいので、一つ一つ見ていきます。（導入作業はComfyUIが起動していない状態で進めましょう）

まずは、ComfyUIをインストールしたフォルダ内にある「custom_nodes」フォルダを開きます。Stability Matrixでインストールした場合は通常「Data\Packages\ComfyUI\custom_nodes」です。フォルダ内の何もないところを右クリックして「ターミナルで開く」を選ぶと、PowerShellやコマンドプロンプトが開きます。

「PS（略）ComfyUI\custom_nodes>」と表示されているのを確認し、続けてリポジトリからコピペしてきた「git clone https://github.com/jtydhr88/ComfyUI-See-through.git」と打ち込み、ENTERキーを押します。このような感じでずらずらとメッセージが表示され、再び「PS～」と表示されて止まったら閉じてOK。先ほどの「custom_nodes」フォルダ内に「ComfyUI-See-through」フォルダが作成されていれば成功です。

次に、依存関係をComfyUI本体のPython環境にインストールします。ComfyUIを単体で導入しているか、StabilityMatrixを使って導入しているかによってコマンド内容が変わるので、注意して進めてください。

（１）ComfyUIを単体でインストールしている場合

リポジトリの説明通りでOKです。新たにできた「custom_nodes\ComfyUI-See-through」フォルダを開いて、同じように何もないところを右クリックして「ターミナルで開く」。今度もリポジトリ内の説明通り、「pip install -r requirements.txt」と打ち込み、ENTERします。

（２）ComfyUIをStabilityMatrixでインストールしている場合

こちらは別手順が必要です。もしリポジトリの説明の通りに「custom_nodes\ComfyUI-See-through」フォルダから「pip install -r requirements.txt」と打った場合、StabilityMatrix上のComfyUIではなく、Windows上のPythonにインストールされてしまうからです。

Stability MatrixでComfyUIをインストールした環境では、いったん「Data\Packages\ComfyUI」を開き、以下のコマンドを入力してENTERキーを押します。

.\venv\Scripts\python.exe -m pip install -r .\custom_nodes\ComfyUI-See-through\requirements.txt

いずれの方法でも、またこのようにずらずらとメッセージが表示されます。PS…となって止まったらSee-Throughのインストールは完了。この黒い画面を閉じます。

いまSee-Throughをインストールした「custom_nodes\ComfyUI-See-through」フォルダを開くと、中に「workflows」フォルダがあり、「seethrough-basic.json」というワークフローファイルが入っているはずです。これがSee-ThroughをComfyUI上で動かせる基本ワークフローなので、ComfyUIを起動する前にワークフローのフォルダ（ComfyUI\user\default\workflows）に移しておくとよいでしょう。

ComfyUIでの操作方法

今回の記事は専用webUIが登場する前に検証しましたので、以下ComfyUIでインストールした前提で記事を進めます。

導入が済んだら、ComfyUIを起動。さきほどの「seethrough-basic.json」ワークフローを開きます。画面左側の「ワークフロー」から開くか、画面上にjsonファイルをドラッグすると、このようにワークフロー画面が表示されます。

既に必要ファイルはインストールできているので、不足ノードは検知されないはずです。ただ、この段階ではワークフローが準備できただけで、肝心のモデルはまだインストールされていません。

それで構いませんので、まずは左下の「画像を読み込む」ノードから任意のキャラクター画像を入力して、全部デフォルト設定のまま生成開始してみましょう。（※入力する画像はキャラクターの全身が収められている正方形にすること。縦長・横長だと、中央部分がトリミングされてしまいます。また、体の一部が見切れているとうまくレイヤー分割できなくなるようです）

こうすると、生成に必要な各モデルがHugging Faceから自動ダウンロードされるので、しばらく放っておきます。一見固まっているように見えるかもしれませんが、ComfyUIのコマンドプロンプト画面（もしくはStabilityMatrix画面）を見てみると、順次バックグラウンドでダウンロード作業が進んでいます。「WARNING」などの文字が見えても気にせず放置しておきましょう。

初回生成はDL時間も含めて数十分掛かりますが、2度目からは200～300秒程度で安定して生成できるようになりました。

＜VRAM負担と使用感＞

デフォルト設定だと「VRAM16GBで本当にギリギリ」という感じです。公式によれば8～12GBでも生成できるとのことで、SNSでも12GBでの生成報告がありますが、かなり時間はかかってしまうようですね。

　　　　　　　　　　▲ギリギリ共有メモリに漏れないくらい

VRAMについては、公式リポジトリにこのような説明があります（機械翻訳注意）。resolution depthはデフォルトでは-1ですが、ここを720にすることで低VRAM環境でも生成可能になる可能性があるとのこと。

それでもダメな場合、各モデルのローダーにある「group_offload」をオンにすると、生成時間が非常に遅くなる代わりに生成可能になる可能性があります。（ただし、diffusersのバージョンが0.37.0以降である必要あり。「Data\Packages\ComfyUI」フォルダでターミナルを開き、「pip install diffusers>=0.37.0」を実行してアプデできますが、分かっている方向けです）

＜各設定の意味＞

非常にシンプルで分かりやすいワークフローなので、さほど悩まないかと思いますが、各ノードのパラメータの意味について簡単に触れておきます。

resolution：解像度。デフォルトは1280x1280pxの正方形となっていて、入力画像が正方形でなかった場合、中央が正方形になるように切り取られる。低VRAMの場合、1024px程度に小さくすると生成できる可能性あり。

num_inference_steps：ステップ数。デフォルトは30で、多いほど画質が向上する代わりに生成時間が伸びる。

cache_tag_embeds：VRAM節約機能。デフォルトでONになっており、これにより2GB程度VRAMが節約できる。

group_offload：より強力にVRAMを節約できる低VRAM環境向けの最終手段。デフォルトはOFFで、ONにするとVRAMのピーク使用量を大幅に削減できるが、速度が2～3倍低下するとのこと。

seed：シード値。生成後の制御がrandomizeになっていると毎回分割結果が変わる。

resolution_depth：深度推論の解像度。デフォルトは-1。720などにすると、VRAMを節約しつつ、生成時間を高速化できる。

tblr_split：オンになっていると、左右対称の部分（目、耳、手など）を左右別々のレイヤーとして分割する。

use_lama：公式に説明がないが、マスク修復にlamaを使うかを選べるもよう。デフォルトはON。

VRAM16GBある環境なら、基本的には1280pxサイズで30stepsで回していればOKと思います。12GB環境でVRAM不足になってしまう場合は、cache_tag_embedsに加えてgroup_offloadもオンにするか、サイズを768～1024px程度に抑える必要があります。（VRAM12GB環境で試された方がいましたら、使用感をコメント欄でお知らせ頂けるとありがたいです）

生成結果検証

1280pxの正方形画像だと、230秒（4分弱）で分割が完了しました。デフォルト設定ではこのように、ComfyUIのoutputフォルダにレイヤー分解された部位が大量出力されます。目や耳の左右が別々のレイヤーとして出力されていますが、「tblr_split」をオフにするとペアで出力することもできます。

ワークフロー内の「SeeThrough Save PSD」ノードから「Download PSD」をクリックすると、これらのレイヤーが収められたPSDファイルがダウンロードできますので、CLIPSTUDIO PAINTやPhotoshopで開いてみましょう。（ちなみに、フォルダ別出力ができるかと思って「filename prefix」欄を「%date:yyyy-MM-dd%/seethrough」と変えたところエラーが出てしまいましたので、このまま使った方がよさそうです）

PSDをCLIPSTUDIO PAINTで開くと、このように分割されています。

全部で29レイヤーあり、「tail（しっぽ）」や「wing（翼）」、「earwear（イヤリング等）」など、入力画像にない要素のレイヤーには何も出力されていませんでした。服は「topwear（上衣）」と「bottomwear（下衣）」で分割されており、腕から先は別に出力されています。

GIFで見てみるとこのような感じ。一番下のレイヤーから順に表示していっています。

＜部位分割優先であることに注意＞

上の出力結果をよく見ると、レイヤーを全て表示させても入力画像がそのまま復元できるわけではないことが分かります。特に、腕の付け根やスカートとカーディガンの裏地など、前後関係が複雑な部分は矛盾が起きていますね。あくまでこれはLive2Dなどの素材として「入力した立ち絵を部位別に分割し、見えない部分をそれらしく補う」技術ですので、各部位をアニメーションさせられるように独立したパーツに分けることを優先して動作します。

例えばこのミナちゃんのカーディガン部分（上衣）を見てみると、スカート（下衣）より手前になる部分と、後ろに隠れる部分があることがわかります。

カーディガンのすそやセーラー服はスカートより上にありますが、カーディガンの裏布部分はスカートより後ろにありますから、分割されたレイヤーを重ねるとどうしても前後関係がおかしくなってしまうわけですね。それぞれの位置関係を入力画像のように正しく表示したい場合、重なる部分を自分で取捨選択して消しゴムするか、レイヤーマスクで隠すなどする必要があります。

また、事前に想定された分類に該当する部位以外は除去される仕様なので、首に掛かったはずのヘッドホンは消えてしまっていますし、白背景も除去されています。入力画像によっては、その衣装や部位が何なのか、どこが顔でどこが目なのか、モデルがうまく分類できず、背景と同じ扱いで除去されてしまうことがあることも覚えておきましょう。

各種検証

白背景で全身がおさめられた正方形の画像は問題なく分割できましたので、あれこれ別条件で生成を試してみました。設定はいずれもデフォルトのままで、1280pxサイズ、30steps、resolution depth -1、左右分割ON、cache_tag_embedsはON、group_offloadはOFFです。

①サイズ大・縦長キャンバス

まずは長辺2000px以上あり、縦長の画像を分割できるか実験します。リポジトリの説明通りなら、中央部分が正方形になるように上下が切り取られるようですが、どのような生成結果になるでしょうか。また、VRAM負担はどう変わるでしょうか。

結論から言うと、入力画像が大きくなっても、出力する解像度設定が1280pxのままなら特にVRAM負担は変化せず、225秒で分割完了しました。ただ、生成結果を見るとこのように失敗しています。

実践上、このような「faceの欠落」や「白目の欠落」は比較的頻繁に起こりました。顔が描かれている範囲が小さすぎるか、画像の見切れがある場合に起こりやすいようです。Seed値を変更してやり直すとうまくいくこともありましたが、やはり入力画像によってSAM（物体や領域を検出できるセグメンテーションモデル）による部位判定の難易度が変わるのだと思います。

今度は同じ画像を1280x1280pxの正方形キャンバスの中央に置いて、入力画像としてみました。こちらが生成結果。

face欠落は起きなかったので先ほどよりはましですが、ところどころ分割に失敗しています。髪留め（シュシュ）が頭部より手前に表示されてしまったのは、後頭部とポニテがどちらも「back hair」扱いで分割されたため、間に挟むことができなかったのでしょう。スニーカーもfootwearと理解されなかったようで、背景と一緒に除去されてしまいました。

②見切れている画像・パース付きの画像

今度はキャンバス内に全身がおさまっていないキャラクター画像で、かつパースが強めに掛かった画像を分割できるか試してみます。先ほどの結果からするとこちらもうまくいかなそうですが、一応実験ですのでやってみましょう。

こちらが生成結果。中央部分がトリミングされるのではなく、左右部分が足される結果となりましたが、結局失敗しています。またface欠落がおきていますね。

ウサギのしっぽ部分とこちらに伸ばした腕はちゃんと分割できていましたので、パースが強くついているとうまくいかないということでもないようです。ただ、上半身下半身の前後関係が複雑になっているポーズ（特に、下半身衣装よりも手前に足が来るようなポーズ）だと、どうしても分割結果がこのように矛盾してしまいますね。正面からの全身立ち絵の分解を想定した技術という印象です。

③背景のある画像

「全身が収まっている正方形キャンバス」という条件は守りつつ、こちらの画像のように背景がある画像の場合はどのように分割されるかも検証しました。

こちらが生成結果。背景や足元の影は無視されましたが、花弁だけが「object」扱いで出力されました。今回はヘッドホンが上衣の一部と認識されたため、無視されずに出力されています。

ずらしてみるとこのような感じ。後ろ側にまわっているポニテやシュシュなどもかなり上手に推論できていますね。

④表情集付きの画像

最後に、このような表情集付きの正方形画像を入力するとどうなるかも試しました。

生成結果はこちら。

残念ながら「瞳や白目は左右一つずつ」と理解されているようで、右上の表情以外の目は省かれてしまいました。まつ毛も左の立ち絵のほうが「eyelash-L」、右上が「eyelash_R」という感じで判定されており、キャンバス内に複数の顔（キャラ）が描かれている画像の入力は想定されていないようです。

表情バリエーション自体はこのように通常のインペイント機能を使えば簡単に作れますので、これらの画像を一枚ずつ入力画像にして、目や口、眉のパーツを得て組み合わせるような使い方はできそうですね。

まとめ

あれこれ検証しましたが、See-Throughはやはり「動く立ち絵」の素材を作ることに特化した技術だなという印象です。キャラクターを正面からとらえた立ち絵をばらけさせて素材化することを唯一の目的としているので、通常のAIイラストやAI漫画の作画工程に活かせる部分はごく限定的かと思います。

一応、動画素材以外の使い道があるか考えてみました。まず、瞳や口、鼻の抽出はかなり上手にやってもらえるので、立ち絵素材の視線や表情を動かすことが簡単にできます。昔のギャルゲー立ち絵でよくあった「福笑い」形式ですね。

クリスタなどで白目部分にクリッピングすれば自然に視線を動かせますし、口部分のパターンをいくつか用意して切り替えれば、さまざまな表情パターンを簡単に作ることもできます。一枚絵のイラストではそこまでメリットがないかもしれませんが、例えばゲームやサイト上で使う顔アイコンをさまざまな表情差分で作りたい場合などに活用できると思います。

あとは、過去イラストから高精細に瞳やアクセサリだけを抽出できるので、今後そのキャラを生成しなおす際にクリスタで切り貼りすれば再現しやすくなります。ただ、これは画角が変わってしまうとうまくいかないので、かなり限定的な使い道ですね。

あと使えそうなのは、衣装部分だけの抽出でしょうか。NanoBananaProを使って「このキャラクターをこっちのキャラが着ている衣装に変更してほしい」と指示するとき、参照させた方のキャラクターの印象に引っ張られて髪型などが変容してしまうことがあります。このように衣装だけの画像を参照させれば、そうした現象を回避しやすくなるかと思います。

こちらが、上の画像を参照させて衣装変更した例。赤眼鏡やポニテに引っ張られることなく自然に衣装チェンジができました。プロンプトは「このキャラクターが着ている服を、@img2の衣装に変更してください。ポーズやアートスタイルは変更しないこと」です。

…というところでアイデアは打ち止め。やはり本来の用途は、Live2Dやうごイラのような立ち絵を動かすための素材作りですね。See-Throughを使えば素材準備の手間が相当削減できるはずですので、素材を動画化できるスキルをお持ちの方にはかなりの福音となりそうです。

AIイラストがきっかけで自分のアバターに近いオリジナルキャラクターを作った人は多いはず。現時点ではまだそうした立ち絵を自分のライブアバターとして気軽に動かすまでには至っていませんが、See-Throughはそうした未来への最初の一歩と言える技術なのだと思います。

もしかするとまだ思いついていないような使い道が見つかるかもしれませんので、引き続きSee-ThroughのAIイラスト活用については考えてみたいと思います。それでは今回はこのへんで。スタジオ真榊でした。

目次