Waifu Diffusion 1.3.5_80000 - 電通総研テックブログ

電通国際情報サービス、オープンイノベーションラボの比嘉康雄です。

Stable Diffusionシリーズ、今回のテーマは、Waifu Diffusion 1.3.5_80000です。

Waifu Diffusionというのは、Stable Diffusionから派生していて、美少女アニメ画に強いという特徴を持っています。

80000というのは、学習の度合いを表していて、「まだ完成してないけど、みんなの反応を見たい」ということで、プレビューとしてリリースされたんだと思います。

Hugging Face上のページは、こちら。バージョンが1.4になっているので、学習が進んで完成すると、1.3.5が1.4になるんでしょうね。

Stable Diffusionのおすすめコンテンツはこちら。

AUTOMATIC1111に対応したColabノートブック
VAEの比較
仲間募集
Stable Diffusionの全コンテンツ

AUTOMATIC1111に対応したColabノートブック

今回のWaifu Diffusion 1.3.5_80000には、2つのVAEが存在します。kl-f8-anime.ckptとkl-f8-anime2.ckptです。

kl-f8-anime.ckptは、元のVAEをファインチューニングしたものです。ファインチューニングとは、元のVAEに追加で、いくつか画像を学習させたという意味です。

kl-f8-anime2.ckptは、元のVAEを刈り込んだ(pruned)ものです。刈り込んだの意味は、たぶん、元のVAEの学習に使った画像のうち、イマイチなものを取り除いて学習させたという意味なんじゃないかと思います。

kl-f8-anime.ckptを使ったAUTOMATIC1111に対応したColabノートブックは、こちら。

kl-f8-anime2.ckptを使ったAUTOMATIC1111に対応したColabノートブックは、こちら。

VAEの比較

SeedをふくめたすべてのパラメータをVAE以外は同じにして比べてみました。

kl-f8-anime.ckptその一

kl-f8-anime2.ckptその一

kl-f8-anime.ckptその二

kl-f8-anime2.ckptその二

kl-f8-anime.ckptその三

kl-f8-anime2.ckptその三

ぼくの感想としては、kl-f8-anime.ckptの方が、全体的に明るいが、ちょっとチープ感があるなぁという感じです。

表現が難しいんですが、もう少し垢抜けた感じがほしいところです。同じ呪文で、Cool Japan Diffusion 2.0で出すとこんな感じです。

垢抜けたという感じが伝わるでしょうか。

今回使った通常呪文

masterpiece high quality highly detailed kawaii princess white glowing skin kawaii face with blush blue eyes with eyelashes long waved hair (cleavage breasts:0.7) open shoulders gothic lolita glossy dress with ruffles gorgeous jewelry accessories anime gorgeous background centered composition lim lighting intense shadows

通常呪文の改行版

masterpiece
high quality
highly detailed
kawaii princess
white glowing skin
kawaii face with blush
blue eyes with eyelashes
long waved hair
(cleavage breasts:0.7)
open shoulders
gothic lolita glossy dress with ruffles
gorgeous jewelry accessories
anime
gorgeous background
centered composition
lim lighting
intense shadows

今回使ったネガティブ呪文

blender deformed mutated disfigured lowres blurred repetitive double mutated hands bad hands missing hands extra hands liquid hands poorly drawn hands mutated fingers bad fingers missing fingers extra fingers liquid fingers poorly drawn fingers partial head bad face small face partial face bad eyes missing eyes too big eyes bad eyebrows bad eyelashes bad nose missing nose bad mouth missing mouth open mouth bad ears thick lips chest pad bad legs missing legs extra legs bad arms missing arms extra arms low quality normal quality crown black and white

今回使ったネガティブ呪文の改行版

blender
deformed mutated disfigured
lowres
blurred
repetitive double
mutated hands bad hands missing hands extra hands liquid hands poorly drawn hands
mutated fingers bad fingers missing fingers extra fingers liquid fingers poorly drawn fingers
partial head
bad face small face partial face
bad eyes missing eyes too big eyes
bad eyebrows
bad eyelashes
bad nose missing nose
bad mouth missing mouth open mouth
bad ears
thick lips
bad legs missing legs extra legs
bad arms missing arms extra arms
low quality normal quality
crown
black and white