ダンジョン飯のマルシルをAI実写化して動かしてみた！（LoRA学習 / AnimateDiff / IP-Adapter / Reference only / Midjourney）
TLDR動画では、人気の漫画「ダンジョン飯」のキャラクター・マルシルをAIで実写化し、動きのあるキャラクターにすることを試みました。実写化には、LoRA学習、AnimateDiff、IP-Adapter、Reference only、Midjourneyなどの技術を使用。马尔希尔的形象通过stable diffusion web UI环境创建，使用各种工具和技術进行调整和改善，最终生成了马尔希尔风格的图像和动画。
Takeaways
- 😀 本動画では、ダンジョン飯のエルフの女の子、マルシルをAIで実写化するプロセスを紹介しています。
- 🌟 使用されたAIモデルは「ベリーユース」で、これはAI美女生成に適したモデルです。
- 🔧 マルシルのAI実写化には、複数のツールと技術が用いられており、その中には「LoRA学習」や「AnimateDiff」、「IP-Adapter」も含まれます。
- 📸 実写化の過程で、初期のAI生成画像から始め、インペイント技術を用いて徐々にマルシルの特徴を細かく調整しています。
- 🖼️ 作成されたマルシルの画像は、さまざまなシチュエーションに対応可能なローラを作成する基盤となります。
- 👂 エルフの特徴である耳の再現に苦労しており、一部の画像では通常の耳が混入してしまっていることが語られています。
- 🔄 複数回の試行錯誤を経て、よりマルシルらしさを追求しています。この過程で「キャラクターレファレンス」も活用されています。
- 🎨 最終的には、選ばれた画像をもとにローラ学習が行われ、さらにそのローラを使って新たな画像が生成される循環が設けられています。
- 📹 ローラを利用してAI動画も作成され、ダンス動画など複数の例が示されています。
- 📚 動画内で「コンフィUI」の使い方や設定の保存方法についても言及されており、視聴者が自分で試すことを推奨しています。
Q & A
どのようなAI技術を使用してマルシルを実写化しましたか？
-マルシルを実写化するために、AI実写化技術を使用し、特に「ベリーユース」というモデルを利用しました。このモデルはAI美女を生成するのに適しており、マルシルちゃんも大人っぽい感じになるようになりました。
AI実写化の過程でどのくらいの労力が必要でしたか？
-AI実写化の過程では、顔付きまで見せると相当な労力が必要であることが述べられています。AIのモデルによっては実現が難しいこともあるため、再現する程度を決めることが重要です。
どのようにしてマルシルローラを作成しましたか？
-マルシルローラを作成するためには、まずテキストtoイメージで土台を作成し、その後インペイントなどで調整を行い、実写化された马尔シルちゃんの画像を作り出しました。
IPアダプターやレファレンスオンリーはどのような役割を果たしましたか？
-IPアダプターやレファレンスオンリーは、马尔シルちゃんの特徴をより正確に再現するために使用されました。特に、ミッドジャーニーのキャラクターレファレンスを利用して、类似の画像を作成し、マルシルちゃんの雰囲気を引き出す効果が得られました。
ローラ学習において、どのようなプロセスを経て最終的な马尔シルちゃんの画像が選別されましたか？
-ローラ学習においては、最初に创建した马尔シルちゃんの画像を元に、似た图像を量産し、それらから马尔シルに近い图像を選択し、再びローラ学習用の画像として準備しました。このプロセスを繰り返し、最終的には马尔シルちゃんに近いローラ学習用の画像が選別されました。
马尔シルちゃんローラを適用した際、どのような結果が得られましたか？
-马尔シルちゃんローラを適用した結果、シンプルなプロンプトで生成された画像は马尔シルちゃんっぽくはならなかったものの、足りない部分をプロンプトで補って再試行すると、より马尔シルちゃんに近い画像が得られました。
AI動画制作において、コンフィUIの利点は何ですか？
-コンフィUIを用いたAI動画制作において、利点はワークフローを一度作成すれば、その情報をファイルに保存していつでも呼び出して使えることです。これにより、効率的に動画を作成することができ、よく利用する設定であれば、ワークフローファイルを呼び出してすぐに使えるため、非常に便利です。
马尔シルちゃんをAI実写化する過程で遭遇した課題は何でしたか？
-马尔シルちゃんをAI実写化する過程で、遭遇した主な課題は、埃尔フっぽい耳以外に普通の耳も混じっていたため、埃尔フの特徴が学習されてしまい、最終的な結果では埃尔フっぽさが不足していたことです。
马尔シルちゃんのAI実写化で生成された画像はどのように使用されましたか？
-马尔シルちゃんのAI実写化で生成された画像は、ローラ学習用の教材として使用され、さらにAI動画制作においても利用され、马尔シルちゃんのダンス動画を作成することができました。
この動画スクリプトから得られる主な教訓は何ですか？
-この動画スクリプトから得られる主な教訓は、AI技術を用いた実写化プロセスにおいて、細かくプロンプトを指定することで、ユーザーの望むような画像や動画を生成することができ、また、一度作成したローラからチューニング用の画像を作成し、より好みの結果に近づけることもできるということです。
Outlines
🎥 Creating Realistic AI Images of Marushil
The video script details the process of creating a realistic AI rendition of the fictional character Marushil, using a specific AI model called BerryUs. BerryUs is praised for its capability to generate beautiful female models, making it suitable for Marushil's adult-like appearance. The creators discuss the technical challenges of accurately replicating human features through AI and decide to use BerryUs-generated test faces for Marushil. They also explain using training tools like Train, Dataset Tag Editor, and the Stable Diffusion WEBUI environment to refine the image generation. Furthermore, the script outlines plans to create a versatile AI model called Marushil Laura, capable of generating Marushil in various scenarios.
🔄 Iterative Process of Refining AI-Generated Images
This section of the video script explores the iterative process of refining AI-generated images to achieve a more accurate depiction of Marushil. The creators face challenges in maintaining elf-like features, notably the ears, due to the learning model assimilating normal ears. They discuss the importance of selecting the right images for re-training to better capture Marushil's distinctive traits. Using simple prompts and character references from a project called MidJourney, they aim to improve the visual consistency of the generated images. The process underscores the flexibility and potential adjustments necessary in AI image training to achieve desired results.
📹 Utilizing AI to Create Dynamic Videos
The final paragraph outlines the utilization of the Marushil Laura in creating dynamic videos, highlighting the adaptability of AI tools like ConfUI. The creators have successfully used these tools to extract dance movements and apply them to Marushil, creating engaging content. The video also touches on the varied outcomes when using different workflows or settings in AI video creation, demonstrating that even with the same tools, results can vary significantly. This segment emphasizes the efficiency and creative possibilities of AI in video production, encouraging viewers to explore these technologies.
Mindmap
Keywords
💡AI実写化
💡ベリーユース
💡LoRA学習
💡AnimateDiff
💡IP-Adapter
💡Reference only
💡Midjourney
💡Character Reference
💡Stable Diffusion
💡Text to Image
💡AI動画
Highlights
AI実写化を試みる
エルフの女の子マルシルちゃんをAIで実写化
実写家向けのAIモデルを使用
ベリーユースモデルを利用する
AI実写化の再現度決定
ステーブルディフュージョンWEBUIフジを使用
ローラの作り方とデータセットタグエディターの使用方法
IP-AdapterとReference Only機能の活用
ミッドジャーニーのキャラクターレファレンスを用いる
CWオプションによる画像カラーの調整
AI動画作成の方法とワークフロー
ローラを適用して生成された画像の選別
プロンプトを追加してマルシルちゃんっぽくする
再びローラ学習用の画像を準備
ローラを再度作成し、より近い画像を作る
AI動画制作とコンフィUIの活用
最終的なAI動画の成果