目录

第1章介绍Diffusion模型的发展历程，以及本书中相关任务的训练方法。

第2章介绍开发环境的配置，并且快速上手Diffusion模型的使用。

第3章介绍不定图像的生成任务。

第4章介绍文本训练方法。

第5章介绍Dream Booth训练方法。

第6章介绍图文结合的训练方法。

第7章介绍使用LoRA技巧加速训练。

第8章介绍AE模型。

第9章介绍VAE模型。

第10章介绍DCGAN模型。

第11章介绍WGANGP模型。

第12章手动构造一个没有文本输入的Diffusion模型。

第13章介绍ControlNet组件。

第14章介绍Instruct Pix2Pix训练方法。

第15章介绍正负样本混合训练方法。

第16章介绍Pix2Pix模型。

第17章介绍CycleGAN模型。

第18章介绍风格迁移任务。

第19章手动构建一个完整的Diffusion模型。

阅读建议

本书是一本对Diffusion模型进行综合性讲解的书籍，既有基础知识，也有实战示例，也包括底层原理的讲解。

本书尽量以简洁的语言书写，每个章节之间的内容尽量独立，使读者可以跳跃阅读而没有障碍。

作为一本实战型书籍，读者要掌握本书的知识，务必要结合代码调试，本书的代码也尽量以简洁的形式书写，使读者阅读时不感吃力。每个代码块即是一个测试单元，读者可以对每个程序的每个代码块按从上到下的顺序进行测试，从一个个小知识点聚沙成塔，融会贯通。

资源下载提示

素材（源码）等资源: 扫描封底的文泉云盘防盗码，再扫描目录上方的二维码下载。

致谢

感谢HuggingFace社区无私的奉献，因为有了你们的工作成果，本书才得以以简洁、标准化的API面世。

在书写本书的过程中，我竭尽所能为读者呈现最好的内容，错漏难免会存在，敬请读者批评指正。

李福林2023年11月

本书源码

快速上手篇

第1章Diffusion模型3

1.1Diffusion模型介绍3

1.1.1Diffusion模型的演化之路4

1.1.2图像以外的应用6

1.1.3其他的绘图模型6

1.2微调预训练模型6

1.2.1预训练模型6

1.2.2微调模型以适应新数据7

1.2.3微调相比重新训练的优势7

1.3小结8

第2章快速上手9

2.1部署开发环境9

2.2HuggingFace简介和快速上手11

2.2.1快速上手11

2.2.2加速技巧12

2.3Diffusion模型相关组件介绍13

2.3.1tokenizer13

2.3.2scheduler15

2.3.3Encoder16

2.3.4VAE17

2.3.5UNet18

2.4小结20

训练方法篇

第3章不定图像的生成23

3.1任务简介23

3.2数据集介绍23

3.3测试部分24

3.3.1测试函数24

3.3.2未训练模型的测试结果25

3.3.3训练后模型的测试结果27

3.4训练部分28

3.4.1全局常量28

3.4.2定义数据集28

3.4.3定义模型30

3.4.4初始化工具类31

3.4.5计算loss32

3.4.6训练34

3.5小结35

第4章文本训练36

4.1任务简介36

4.2数据集介绍36

4.3测试部分37

4.3.1测试函数37

4.3.2未训练模型的测试结果38

4.3.3训练后模型的测试结果39

4.4训练部分39

4.4.1全局常量39

4.4.2定义数据集39

4.4.3定义模型44

4.4.4初始化工具类47

4.4.5计算loss47

4.4.6训练50

4.5小结51

第5章Dream Booth53

5.1任务简介53

5.2数据集介绍53

5.3测试部分54

5.3.1测试函数54

5.3.2未训练模型的测试结果55

5.3.3训练后模型的测试结果55

5.4训练部分56

5.4.1全局常量56

5.4.2定义数据集56

5.4.3定义模型60

5.4.4初始化工具类61

5.4.5计算loss61

5.4.6训练62

5.5小结64

第6章图文结合的训练65

6.1任务简介65

6.2数据集介绍65

6.3测试部分66

6.3.1测试函数67

6.3.2未训练模型的测试结果68

6.3.3训练后模型的测试结果68

6.4训练部分69

6.4.1全局常量69

6.4.2定义数据集69

6.4.3定义模型73

6.4.4初始化工具类73

6.4.5计算loss74

6.4.6训练75

6.5小结77

第7章LoRA Dream Booth78

7.1任务简介78

7.2数据集介绍79

7.3测试部分79

7.3.1测试函数79

7.3.2未训练模型的测试结果80

7.3.3训练后模型的测试结果80

7.4训练部分81

7.4.1全局常量81

7.4.2定义数据集81

7.4.3定义模型84

7.4.4初始化工具类87

7.4.5计算loss87

7.4.6训练88

7.5小结89

图像生成模型的历史发展篇

第8章AE模型93

8.1模型原理介绍93

8.2鲜花数据集介绍94

8.3定义数据集95

8.4定义神经网络模型98

8.4.1定义Block工具层98

8.4.2定义Encoder和Decoder100

8.5训练101

8.5.1训练前的准备工作101

8.5.2执行训练102

8.6测试104

8.6.1测试本地训练的模型104

8.6.2使用训练好的模型测试105

8.7小结105

第9章VAE模型106

9.1AE模型的缺陷106

9.2定义神经网络模型107

9.3训练108

9.3.1训练前的准备工作108

9.3.2执行训练109

9.4测试111

9.4.1测试本地训练的模型111

9.4.2使用训练好的模型测试111

9.5小结113

第10章DCGAN模型114

10.1模型原理介绍114

10.2定义神经网络模型115

10.2.1定义CLS模型115

10.2.2定义GEN模型116

10.3训练117

10.3.1训练前的准备工作117

10.3.2训练CLS模型的函数118

10.3.3训练GEN模型的函数119

10.3.4执行训练120

10.4测试122

10.4.1测试本地训练的模型122

10.4.2使用训练好的模型测试122

10.5小结123

第11章WGANGP模型124

11.1模型原理介绍124

11.2定义神经网络模型125

11.3训练126

11.3.1训练前的准备工作126

11.3.2训练CLS模型的函数127

11.3.3执行训练128

11.4测试130

11.4.1测试本地训练的模型130

11.4.2使用训练好的模型测试130

11.5小结131

第12章Diffusion模型132

12.1模型原理介绍132

12.2定义神经网络模型134

12.3定义图像生成函数142

12.4训练144

12.5测试146

12.6小结147

训练方法篇

第13章ControlNet以图生图151

13.1任务简介151

13.2数据集介绍153

13.3测试部分154

13.3.1测试函数155

13.3.2未训练模型的测试结果156

13.3.3训练后模型的测试结果158

13.4训练部分159

13.4.1全局常量159

13.4.2定义数据集159

13.4.3定义ControlNet模型162

13.4.4定义模型168

13.4.5初始化工具类169

13.4.6计算loss169

13.4.7训练171

13.5小结172

第14章Instruct Pix2Pix图像调整173

14.1任务简介173

14.2数据集介绍174

14.3测试部分175

14.3.1加载数据集175

14.3.2测试函数176

14.4训练部分179

14.4.1全局常量179

14.4.2定义数据集180

14.4.3定义模型181

14.4.4初始化工具类182

14.4.5计算loss183

14.4.6训练186

14.5小结187

第15章正、负样本混合训练188

15.1任务简介188

15.2数据集介绍188

15.3测试部分190

15.3.1配置环境190

15.3.2测试函数191

15.3.3未训练模型的测试结果191

15.3.4训练后模型的测试结果192

15.4训练部分193

15.4.1全局常量193

15.4.2定义数据集193

15.4.3定义模型200

15.4.4初始化工具类203

15.4.5计算loss203

15.4.6训练206

15.5小结207

以图生图模型的历史发展篇

第16章Pix2Pix模型211

16.1任务介绍211

16.2数据集介绍212

16.3定义数据集213

16.4定义神经网络模型216

16.4.1定义CLS模型217

16.4.2定义残差连接层217

16.4.3定义GEN模型218

16.5训练220

16.5.1训练前的准备工作220

16.5.2训练CLS的函数221

16.5.3训练GEN的函数222

16.5.4执行训练223

16.6测试226

16.6.1测试本地训练的模型226

16.6.2使用训练好的模型测试228

16.7小结228

第17章CycleGAN模型230

17.1模型原理介绍230

17.2数据集介绍231

17.3定义数据集232

17.4定义神经网络模型234

17.4.1定义CLS模型234

17.4.2定义GEN模型235

17.5训练237

17.5.1训练前的准备工作237

17.5.2训练CLS的函数238

17.5.3训练GEN的函数239

17.5.4执行训练242

17.6测试243

17.6.1测试本地训练的模型243

17.6.2使用训练好的模型测试244

17.7小结245

Diffusion模型篇

第18章风格迁移249

18.1模型原理介绍249

18.1.1针对单张图片的风格迁移249

18.1.2基于神经网络模型的风格迁移250

18.1.3风格迁移模型的训练方法250

18.1.4数据部分251

18.2定义神经网络模型252

18.2.1定义CLS模型254

18.2.2定义抽取内容特征的函数254

18.2.3定义抽取风格特征的函数255

18.2.4加载风格图片特征256

18.3训练257

18.3.1训练前的准备工作257

18.3.2执行训练257

18.4测试259

18.4.1测试本地训练的模型259

18.4.2使用训练好的模型测试260

18.5小结260

第19章手动构建Diffusion模型261

19.1模型原理介绍261

19.2Encoder模型263

19.2.1编码层263

19.2.2注意力层264

19.2.3编码器层266

19.2.4Encoder模型268

19.2.5载入参数268

19.2.6试算270

19.3VAE模型270

19.3.1残差连接层270

19.3.2注意力层272

19.3.3Pad工具层274

19.3.4VAE模型275

19.3.5载入参数278

19.3.6试算280

19.4UNet模型281

19.4.1模型结构281

19.4.2残差连接层282

19.4.3注意力层284

19.4.4Transformers层286

19.4.5down层289

19.4.6up层290

19.4.7UNet模型291

19.4.8载入参数296

19.4.9试算298

19.5训练299

19.5.1加载工具类299

19.5.2定义数据集300

19.5.3定义模型303

19.5.4计算loss304

19.5.5执行训练305

19.6测试306

19.6.1定义生成函数306

19.6.2定义测试函数308

19.6.3测试未训练的模型309

19.6.4测试训练好的模型310

19.7小结311