Stable Diffusion 零基礎新手入門！Part 3 - 社群繪圖模型 & ControlNet 擴充功能
TLDR本视频是Stable Diffusion新手系列的第三集，介绍了如何使用社群绘图模型和ControlNet扩展功能。首先，通过Civitai网站下载特定风格的模型，如Anything和ReV Animated，并在Stable Diffusion Web UI中应用。接着，探讨了LoRA微调模型的使用，以及如何通过社群贡献的扩展功能，如sd-webui-roop换脸工具和ControlNet，增强Stable Diffusion的能力。ControlNet可通过分析图片构图和特征来控制图像生成，支持多种模型如Scribble、Openpose和Inpaint。
Takeaways
- 📌 這是 Stable Diffusion 新手系列的第三集，涵蓋社群繪圖模型與 ControlNet 擴充功能。
- 🖌️ 若想嘗試日式動漫風格，可以在提示詞後加上「Anime」來生成圖片。
- 🌐 Civitai 是一個受歡迎的 Stable Diffusion 素材網站，提供多種繪圖模型。
- 📦 下載特定風格的模型後，需將模型檔放置於 Stable Diffusion Webui 的 Models 文件夾中。
- 🎨 使用特定模型時，可加入畫質關鍵字以提升圖像品質。
- 🔍 可透過 Civitai 搜尋「EasyNegative」來提升負向提示詞的效果。
- 🏰 CheckPoint 與 LoRA 是基於基礎模型的衍生與微調模型，用於生成更高質量的畫作。
- 📸 使用 LoRA 模型時，需在提示詞中加入特定語法與權重值。
- 🔧 Automatic1111 的擴充功能 (Extensions) 由社群成員開發，用以增強 Stable Diffusion 的能力。
- 🎭 ControlNet 能分析圖片構圖與特徵，並依此控制圖片生成。
- 🖼️ ControlNet 支援多種模型，如 Scribble、Openpose 和 InPaint，用於不同繪圖需求。
Q & A
Stable Diffusion 新手系列视频共有几集？
-Stable Diffusion 新手系列视频共有三集。
如果想要使用日式动漫风格进行绘图，应该如何设置提示词？
-如果想要使用日式动漫风格进行绘图，可以在提示词后面输入'Anime'，然后进行算图。
Civitai 是一个什么样的网站？
-Civitai 是一个 Stable Diffusion 素材网站，里面有大量用户上传和分享的绘图模型。
如何使用特定风格的绘图模型？
-首先下载模型到自己的电脑，然后将模型文件放到 Stable Diffusion Webui 安装位置的 Models 文件夹中，接着在界面上选择对应的模型进行绘图。
什么是 CheckPoint 和 LoRA？
-CheckPoint 是在基础模型上衍生而成的模型，经过额外大量图片的训练，可以生成比基础模型质量更高的画作。LoRA 是一种微调模型，可以利用权重值来调整画作的风格，必须搭配现有的 CheckPoint 模型使用。
如何使用 LoRA 模型？
-LoRA 模型的使用方式是在 Prompt 栏目位中输入特定的语法，语法的两侧有一组尖括号，其中 name 指 LoRA 的模型名称，Weight 是一个 0 - 1 之间的权重值。
Automatic1111 的擴充功能 (Extensions) 是什么？
-Automatic1111 的擴充功能是由社群成员贡献和开发的工具，用来增强 Stable Diffusion 的能力，用户可以自由安装自己感兴趣的项目。
ControlNet 是用来做什么的？
-ControlNet 可以用来分析一张图片的构图与特征，并且依据这些特征来控制图片的生成。
ControlNet 有哪些类型的模型？
-ControlNet 的模型种类非常多，包括但不限于 Inpaint, Openpose, 和 Scribble 等，各自有不同的功能与用途，可用于识别图像中不同的细节与特征。
如何使用 ControlNet 的 Scribble 模型？
-使用 ControlNet 的 Scribble 模型时，需要提供一个手绘草稿，让 ControlNet 作为生成图片的依据。在操作面板中选择 Scribble 作为控制类型，并确保提供的素材是白底黑边的手稿。
ControlNet 的 InPaint 功能可以用来做什么？
-ControlNet 的 InPaint 功能可以针对影像的特定范围进行重绘，无论是用在修图或合成都非常地方便。
Outlines
🎨 Exploring Art Styles with Stable Diffusion
This paragraph introduces viewers to the use of Stable Diffusion for generating artwork in various styles, with a focus on applying a Japanese anime style. It explains the process of using specific models trained for certain styles, available on popular platforms like Civitai. The speaker guides the audience through downloading and installing models like Anything V5, which is adept at creating cute, anime-style girls, and using them in conjunction with the Stable Diffusion Web UI. Tips on crafting prompts and utilizing negative prompts for enhancing artwork quality are also shared, providing a comprehensive guide for beginners looking to explore the capabilities of Stable Diffusion for creating anime-style art.
🖌️ Customizing Art with Checkpoints and LoRA
The second paragraph delves into the concepts of Checkpoints and LoRA within the context of Stable Diffusion. It explains the hierarchy of models, starting from Base Models like Stable Diffusion 1.5, to Checkpoints which are refined models trained on additional images, and LoRA, which are lightweight, adjustable models that can be paired with Checkpoints. The speaker illustrates the process of using a LoRA file called 'probably blind box' and how to integrate it with the main model using specific syntax in the prompt. This section highlights the flexibility and customization options available to users who wish to fine-tune their artwork generation process.
🛠️ Enhancing Stable Diffusion with Extensions
The final paragraph discusses the use of Extensions to augment the capabilities of Stable Diffusion. It introduces various community-developed tools that can be installed to enhance the AI's functionality. The speaker demonstrates the installation and use of a face-swapping extension called sd-webui-roop, which allows users to replace faces in images with other faces, such as Tom Cruise's, for fun or practical purposes. The paragraph also covers the popular ControlNet extension, which can analyze and control the composition of images based on features. The speaker shows how to use different ControlNet models like Scribble, Openpose, and InPaint to create detailed and controlled artwork, showcasing the advanced customization and editing possibilities available through these extensions.
Mindmap
Keywords
💡Stable Diffusion
💡Civitai
💡模型 (Model)
💡提示词 (Prompt)
💡Negative Prompt
💡CheckPoint
💡LoRA
💡擴充功能 (Extensions)
💡ControlNet
💡Roop
Highlights
介绍了如何使用Stable Diffusion进行不同画风的尝试，特别是日式动漫风格。
讨论了如何通过Civitai网站寻找和使用特定风格的绘图模型。
展示了如何下载并安装特定的绘图模型，例如Anything和ReV Animated。
解释了如何使用Prompt和Negative Prompt来提升画作质量。
提到了Base Model、CheckPoint和LoRA之间的区别和关系。
演示了如何使用LoRA模型进行微调，以及如何通过特定的语法在Prompt中加入LoRA。
探讨了Automatic1111的擴充功能(Extensions)以及如何安装和使用它们。
介绍了sd-webui-roop这个换脸工具的使用方法。
详细说明了ControlNet的功能和如何安装适用于不同版本的ControlNet模型。
展示了如何使用ControlNet的Scribble模型根据手绘草稿生成图像。
解释了Openpose模型如何控制图像中人物的动作和表情。
介绍了InPaint功能，以及如何用于图像的特定范围重绘。
讨论了OutPaint功能，以及如何将画布向外扩展同时生成图像。
提供了关于如何通过特定风格训练的模型来模仿特定漫画家或系列作品的技巧。
解释了如何利用ControlNet分析图片的构图与特征，并据此控制图片的生成。
讨论了如何使用ControlNet进行图像的修复或合成工作。
介绍了如何通过ControlNet的功能来增强Stable Diffusion的能力。