CoPainter（β調整版）がすごい【AI塗り】

2023年9月3日2024年5月16日

CoPainter は mimic で有名な RADIUS5 が開発中のAI着彩サービスです。
５/12～6/14までクローズドβが行われたのですが、その際の問題に対処したり機能を調整したものがβ調整版として帰ってきました。（クローズドβの参加者に対して、8月はじめ頃から徐々に招待メールが届いている模様）

私はクローズドβに参加していて、β調整版も使わせてもらえるようなので試してみました。

使ってみたい方は RADIUS5 のXアカウントをチェックするといいかも。

CoPainter（β調整版）の使い方

開発中ということで、画面キャプはよくないかもしれないので、簡単に使い方だけ文字で説明します。
出力物については好きにしていいようなので載せていきます。

ユーザーが、本サービスを利用して生成した出力物の著作権は、当該送信データに関する権利を有する者がその知的財産権を有するものとします。出力結果を Twitter 等に投稿いただくことも問題ございません。

CoPainter利用規約より

使い方はとっても簡単です。
「線画」と「下塗り」をアップロードして、「AIによる変化の強さ」「書き込み量」「モード」を選択し、「利用規約に同意する」のチェックボックスにチェックを入れるだけ。最後に送信ボタンを押せば、色が塗られた状態の画像が表示されるという非常にわかりやすいものです。

AIによる変化の強さ、書き込み量

「AIによる変化の強さ」については上段を見てください。
一番左（０）はほぼ元のままですが、一番右（１００）は影や光がつきグラデーションも使われています。その代わりに髪のメッシュが消えたり、ベルトの裏が青なのに黒（茶？）になったり色が変わっています。

「書き込み量」については下段を見てください。ちょっとわかりにくいかもしれませんが、髪の毛や服の皺などが右に行くほど細かく描き込まれていることがわかります。

グレースケールの場合

一部色が変わってしまうので、陰影だけ取れたら後で自分で合成できるのではと考えて、下塗りをグレー一色にしてみました。（一番左上の画像が元に近いです）

さきほどと同じく「AIによる変化の強さ」を変えていったものが上段です。カラーの場合よりも質が落ちているように思います。100でも服の皺が格段に少なくなっています。

下段は「書き込み量」を変化させたものです。カラーの時は「AIによる変化の強さ」をデフォルトの50で固定していたのですが、わかりにくかったので今回は100固定にしてみました。
右に行くほど書き込みが増えていることがわかります。でもやっぱりカラーより質が落ちているように感じます。というよりラフっぽい感じがします。

モード

モードは「normal」と「strict」が選べます。

上の画像を見てもらえばわかるように、normalでは消えてしまっている髪のメッシュがstrictでは生き残っています。strictはnormalよりも、線画や下塗りをより厳密に反映させるモードのようです。

そしてnormalは結合されたpng画像しか出力されないのですが、strictはそれに加えてレイヤー分けされたpsdもダウンロードできます。

レイヤーはこのようになっています。
縦真ん中の３つが明るい部分で、覆い焼きレイヤーやスクリーンレイヤーになっています。
縦右側の２つが暗い部分で、乗算レイヤーになっています。
それを元の線画と下塗りで挟んでいるような構造です。

「ニュアンスづけのためにmultply_roughとscreen_roughだけ使う」などもできるので便利ですね。

CoPainter（β調整版）のすごいところ

（１）細かいところが溶けにくい

これは以前に同じ線画と下塗りから Stable Diffusion 1.5系のモデルでAI塗りしたものです。赤丸の部分がぐちゃっとしてしまってるのがおわかりでしょうか。

CoPainterだと「AIによる変化の強さ」「書き込み量」を最大の100にしてもこれです。
細かいことを言うと、穴が空いてる部分をわかってなかったりと塗り間違いはあるんですが、それにしてもこの線画の維持度はすごい！線が見えてるから修正しやすそうです。

（２）塗り分け力（？）が高い

これは Stable Diffusion 1.5系のモデルでAI塗りしたものです。Denoising と書いてあるのは、CoPainter でいうところの「AIによる変化の強さ」にようなもので、大きくするほどAI度が高くなるイメージです。

見ての通り、影などをつけようと思うとAI度を上げないといけないのですが、そうすると0.5で早速右の子のズボンが半分ずつ違う色になっています。0.6だとそれがより顕著に、0.7はセーターの色も変わってます。

綺麗に塗るにはAI度を上げないといけないけど、AI度を上げると下塗りによる指示がどんどん無視されていくのです。

ところが同じ線画・下塗りを使って CoPainter では一枚目でこれが出力されました。（「AIによる変化の強さ」「書き込み量」ともに100）

髪や顔の中身も恐るべき維持度ですし、ほぼ下塗り通りに塗り分けられています。
下塗りと違っているのは、髪色、目の色、鞄に侵食してる青、右の子のズボン（下塗りでは紺）、背景の金属部分と木目調の部分が混ざってるくらいでしょうか。
線画の維持度が高いことと、明度がかけ離れていないので、これくらいならすぐ修正できそうです。

これだけグラデーションがついていて服の皺も描き込まれているのに、こんなにちゃんと塗り分けられるのが衝撃でした。

（３）余計なものが描かれにくい

これはさっきと同じ画像ですが、背景なしでキャラクターのみの線画と下塗りを使いました。Stable Diffusion 1.5系のモデルでAI塗りしたものです。

AI度(Denoising)を上げると座面の影やバッグ、クッションのようなものが追加されがちです。他にはネクタイらしきものや、フキダシが描かれています。この画像にはないですが、膝に載せてる鞄にショルダー紐が追加されることもありました。

CoPainter で出力されたものはこちら。（「AIによる変化の強さ」「書き込み量」ともに100）

ボタンっぽいものが描かれてますが、それ以外には目立って追加されているものはありません。多分下塗りの維持度が高いから、白い部分も白いままで維持されてるってことなのかもしれません。

作例

参考にいくつか作例を掲載します。
数値は入力する絵によって変わってきます。

基本的には
1. 色味が目的のものに近づく量にAI変化量をいじる
2. 書き込み量を調整する
3. 書き込み量が足りない時はちょっとAI変化量を上げる
の流れがいいかもです。AI変化量が書き込み量の上限を決定しています。

— まっくす (@minux302) August 29, 2023

基本的には 1. 色味が目的のものに近づく量にAI変化量をいじる 2. 書き込み量を調整する 3. 書き込み量が足りない時はちょっとAI変化量を上げる の流れがいいかもです。AI変化量が書き込み量の上限を決定しています。

開発をされているまっくすさんのポストより

色味や雰囲気を変えたくない場合、上記で推奨されているように「AIによる変化の強さ」を下げたり、strictモードにすると良いです。

私はAIにいい感じの色にしてほしいので「AIによる変化の強さ」はAIっぽさが出るくらいまで上げる方が好きです。

以下、すべてnormalモードです。

ラスト2つは先に100-100のをお出ししていたので、くどい印象だったと思いますが、数値を下げるとこのようにあっさりめに塗ることもできます。

まとめ

RADIUS5 が開発中の CoPainter（β調整版）がすごい。
簡単に手描きの絵をAI塗りできるし精度も高い！同じことを Stable Diffusion でやろうとしても、どうやったら再現できるのかわからないくらい！

strictモードは前回のクローズドβ中に追加された機能ですし、昨日（9/2。一昨日かも）には線画と下塗りをクリップボード経由で入力できる機能も追加されました。どんどん便利になってます。

モデルの画力は前回のクローズドβ中より下がったような気がするのですが、そんなことより線画と下塗りの維持度がすごくて、絵描き的にはそちらの方が重要に思います。自分で描いた線画にAI塗りをしたいなら、CoPainterはかなり有力な選択肢になると思います。製品版のリリースが楽しみです。