Stable Diffusion教學 使用Lora製作AI網紅

Kas Kuo Lab
1 Mar 202311:33

TLDR本视频教程介绍了如何使用Stable Diffusion和Lora功能制作AI网红照片和AI Coser。首先,需要下载Stable Diffusion模型和Lora模型,并通过Civit AI进行操作。接着,通过调整Lora模型的权重和提示词,生成具有特定特征的图像。此外,还讲解了如何使用Additional Networks外挂和各种工具进行图像编辑,以达到理想的效果。最后,预告了下一期视频将教授如何训练自己的Lora模型。

Takeaways

  • 🎨 使用Stable Diffusion和Lora功能可以制作AI网红和AI Coser照片。
  • 🚀 首先需要下载Stable Diffusion模型,例如Chillout Mix-NI,但需注意该模型可能因舆论问题被下架。
  • 🔍 在Civit AI搜索并下载Lora模型,如Korean Doll Likeness、Taiwan Doll Likeness和Japanese Doll Likeness。
  • 📂 将下载的模型文件放置在Stable Diffusion Webui对应的文件夹中。
  • 🔧 安装Additional Networks外挂以扩展Stable Diffusion的功能。
  • 🌐 使用Lora标签选择不同的Lora模型,并设置权重总和不超过1。
  • 🎭 输入提示词和负面提示词,调整采样模式和方法以生成AI图片。
  • 🏓 通过调整Lora模型的权重和Seed值来控制图片的基本脸型和随机性。
  • ✍️ 使用img2img功能对选定的照片进行细节修改和多图生成。
  • 🖌️ 利用inpaint和Extras功能修复图片的小问题,如霓虹灯不亮或眼袋太突出。
  • 👗 制作AI Coser照片时,使用特定角色的Lora模型和提示词来生成具有角色特征的图片。
  • 📸 观看教程视频可以学习如何训练自己的Lora模型,以便稳定生成特定角色的图片。

Q & A

  • 什麼是Stable Diffusion?

    -Stable Diffusion是一種用於生成圖像的人工智能模型,能夠根據文字描述生成高質量的圖片。

  • Lora在製作AI網紅中的作用是什麼?

    -Lora是用於加強Stable Diffusion模型的插件,可以提供特定的風格或特徵,如國家特色的臉型,幫助生成具有特定風格的AI網紅照片。

  • 為什麼Chillout Mix-NI模型會被下架?

    -Chillout Mix-NI模型因為過於流行,引發了一些輿論問題,導致Civit AI將其下架。

  • 什麼是Additional Networks外掛,它如何與Stable Diffusion配合使用?

    -Additional Networks外掛是一種可以增強Stable Diffusion功能的腳本,用於加載和運行額外的模型或網絡,從而擴展生成圖像的能力。

  • 在Stable Diffusion中調整Lora模型的權重有什麼注意事項?

    -在使用Lora模型時,所有模型的權重加起來不應超過1,以確保生成的圖像品質和穩定性。

  • 為什麼要保存Seed?

    -保存Seed是為了保留生成某一圖像的隨機數,使未來可以重現同樣的結果,便於進行進一步的調整或重製。

  • 使用Lora製作AI網紅時,如何處理不理想的生成結果?

    -如果生成的圖像不理想,可以通過調整Lora模型的權重或改變負面提示詞來嘗試改善結果。

  • 生成AI Coser照片和AI網紅照片有何不同?

    -AI Coser照片通常模仿特定的動漫或遊戲角色,需要特殊的Lora模型來精確捕捉角色特徵,而AI網紅照片則更偏向於一般人物風格。

  • 在Stable Diffusion使用過程中,如何解決技術問題,比如模型不加載或圖像質量差?

    -解決這些問題通常需要重新整理Lora模型、檢查並更新外掛,或調整圖像生成的各項參數,如採樣方法和解析度。

  • 如何保證使用AI技術時遵守法律和道德規範?

    -使用AI技術製作圖像時,應避免產生違法或不道德的內容,並應遵循相關平台的使用條款和社會規範。

Outlines

00:00

🎨 Introduction to AI Influencer Photo Creation with Lora and Stable Diffusion

This paragraph introduces the process of creating AI influencer photos using Stable Diffusion and Lora. It explains the necessity of downloading the Stable Diffusion model, specifically the Chillout Mix-NI model, and the Lora models such as Korean, Taiwan, and Japanese Doll Likeness. The paragraph details the steps to install the kohya-ss Additional Networks script and how to use Lora models in the creation process, including adjusting the weights of the Lora models and setting the sampling parameters for generating images.

05:00

🖌️ Editing and Enhancing AI Photos with inpainting and Extras

The second paragraph focuses on the editing and enhancement of AI-generated images. It describes the use of the inpainting feature to fix minor issues like non-lit neon lights and a line on the wrist. The paragraph also covers the use of the Extras feature to adjust visibility parameters for removing eye bags and refining the image quality. The process of achieving high-resolution AI influencer photos is outlined, including the use of different Lora models to adjust facial features and the selection of appropriate keywords to ensure accurate representation of desired characters.

10:02

📸 Creating AI Coser Photos and Finalizing the Process

This paragraph discusses the creation of AI Coser photos, specifically using Lora models of characters like Lucy,绫波零, and 明日香. It explains the process of downloading and applying these models, using trigger words, and adjusting the weights of multiple Lora models to achieve a desired look. The paragraph also details the steps to dress the AI character in specific outfits using keywords from reference images and adjusting parameters to enhance the appearance of clothing features. The final steps involve fine-tuning the image quality and denoising strength to produce high-resolution AI Coser photos, concluding the tutorial with a preview of future content on training personalized Lora models.

Mindmap

Keywords

💡Stable Diffusion

Stable Diffusion是一个深度学习模型,专门用于生成图像。在视频中,它被用来生成AI网红和AI Coser的照片。这个技术通过理解文本提示词,然后创造出与之匹配的图像。

💡Lora

Lora是一种用于生成图像的深度学习模型,它能够捕捉特定人物的特征,并将其应用到新生成的图像中。在视频中,Lora被用来制作具有特定风格或特征的AI网红和AI Coser照片。

💡AI网红

AI网红指的是通过人工智能技术生成的虚拟人物,它们在社交媒体上拥有大量粉丝,但并非真实存在的人物。在视频中,AI网红是通过Stable Diffusion和Lora模型结合生成的,具有吸引人的外观和风格。

💡Civit AI

Civit AI是一个平台,提供各种深度学习模型的下载和使用,包括Stable Diffusion和Lora模型。用户可以通过这个平台来生成AI网红和AI Coser的照片。

💡Chillout Mix-NI

Chillout Mix-NI是一个Stable Diffusion的模型,专门用于生成具有特定风格特征的图像。然而,由于某些原因,这个模型在Civit AI平台上被下架了。

💡DPM++ SDE Karras

DPM++ SDE Karras是一种采样模式,用于在生成图像时改善图像质量和细节。在视频中,这种采样模式被用于生成更高质量的AI网红照片。

💡Seed

Seed在生成图像的上下文中指的是一个随机数生成器的初始值,它决定了图像生成过程中的随机性。在视频中,通过保留Seed,用户可以生成具有相同特征的一系列图像。

💡img2img

img2img是一种功能,它允许用户通过提供一张基础图像来生成新的图像。在视频中,这个功能被用来在生成的AI网红照片基础上进一步生成更多类似的照片。

💡GFPGAN visibility

GFPGAN visibility是一个参数,用于控制图像生成过程中细节增强的效果。在视频中,通过调整这个参数,用户可以改善生成图像的质量,例如减少眼袋等不需要的特征。

💡AI Coser

AI Coser指的是通过人工智能技术生成的虚拟角色扮演者,它们通常模仿特定的动漫或游戏角色。在视频中,AI Coser是通过使用特定的Lora模型和Stable Diffusion技术来创建的。

Highlights

介绍如何使用Stable Diffusion和Lora功能制作AI网红照片和AI Coser。

下载Stable Diffusion模型,使用Civit AI搜索Chillout Mix找到模型页面。

Chillout Mix-NI模型因舆论问题被Civit AI下架,但提供了Google硬盘备份。

同时下载三个Lora模型:Korean Doll Likeness, Taiwan Doll Likeness, Japanese Doll Likeness。

将下载的模型复制到Stable Diffusion Webui的正确文件夹内。

安装Additional Networks外挂,并通过Stable Diffusion Webui进行操作。

使用Lora标签选择下载的Lora模型,并设置权重总和不超过1。

输入提示词和负面提示词,调整采样模式和参数进行生成。

通过Batch count进行多图生成,持续抽卡直到出现SSR。

使用Seed功能保留和复制生成图片的基础特征。

利用img2img功能对选定图片进行细节调整和多图生成。

使用inpainting功能修正图片中的小问题,如霓虹灯不亮。

调整眼袋突出问题,使用Extras功能进行图像修复。

制作AI Coser照片,下载特定角色的Lora模型并使用。

使用网友分享的提示词和触发关键词来生成具有角色特征的图片。

调整多个Lora模型的权重,以达到理想的脸型和特征。

为AI Coser穿上角色服装,使用服装特征提示词进行生成。

通过调整参数和使用不同功能,获得高清晰度的AI网红和Coser照片。

预告下集影片将详细说明如何训练自己的Lora模型。