图书目录

目    录

第1章  智能运维概述 1

1.1  引言 1

1.1.1  智能运维的兴起 1

1.1.2  智能运维的发展历程 2

1.1.3  智能运维的技术基础 3

1.1.4  智能运维的目标 4

1.2  智能运维的应用 4

1.2.1  智能运维的应用领域 4

1.2.2  智能运维要解决的问题 5

1.3  智能运维的相关标准 6

1.3.1  运维相关的现有标准 7

1.3.2  人工智能的现有标准 9

1.3.3  智能运维的现有标准 10

第2章  智能运维框架 12

2.1  整体框架 12

2.2  组织治理 13

2.3  场景实现 14

2.4  能力域 15

第3章  搭建Ubuntu运维和开发环境 20

3.1  Ubuntu安装准备 20

3.2  安装Oracle VM VirtualBox 22

3.3  安装Ubuntu服务器系统 26

3.3.1  创建虚拟机 26

3.3.2  安装Ubuntu Server系统 32

3.4  搭建VS Code远程开发环境 40

第4章  Python编程基础 44

4.1  Python快速入门 44

4.1.1  Python简介 44

4.1.2  数据类型 47

4.1.3  运算符 50

4.1.4  函数 52

4.1.5  程序控制结构 53

4.1.6  类和对象 54

4.2  NumPy快速入门 55

4.2.1  数组创建与初始化 55

4.2.2  数组的核心属性、操作与计算 56

4.2.3  数学运算与统计 60

4.3  Pandas快速入门 61

4.3.1  Pandas系列 61

4.3.2  Pandas数据帧 65

4.3.3  Pandas示例 69

第5章  数据采集与存储 84

5.1  数据采集 84

5.1.1  数据采集方法 85

5.1.2  数据采集工具 86

5.1.3  数据采集的关键考虑因素 88

5.2  数据存储 88

5.2.1  数据存储类型 89

5.2.2  数据存储架构 90

5.2.3  数据备份与恢复 90

5.2.4  数据安全 91

5.2.5  数据管理与优化 91

5.2.6  数据访问与检索 92

第6章  数据预处理 94

6.1  数据清洗 95

6.1.1  处理缺失值 95

6.1.2  去除重复记录 106

6.2  数据集成 112

6.3  数据转换 113

6.4  数据离散化 119

6.4.1  等距离散化 120

6.4.2  等频离散化 120

6.4.3  基于聚类的离散化 121

6.4.4  基于决策树的离散化 122

6.5  特征选择 123

6.5.1  特征选择方法 123

6.5.2  特征选择示例 124

第7章  机器学习 129

7.1  回归方法 129

7.1.1  常见的回归方法 130

7.1.2  回归模型的评估与优化 131

7.1.3  回归模型的示例 132

7.2  分类方法 140

7.2.1  分类的一般流程 140

7.2.2  评估指标 141

7.3  决策树 143

7.3.1  基本概念 143

7.3.2  构建步骤 145

7.3.3  决策树示例 147

7.3.4  决策树的特点 152

7.4  其他分类算法 152

7.4.1  随机森林 152

7.4.2  支持向量机 153

7.4.3  贝叶斯分类器 156

7.4.4  分类算法小结与示例 158

7.5  聚类分析 165

7.5.1  划分聚类方法 165

7.5.2  基于密度的聚类方法及示例 169

7.5.3  层次聚类方法 173

7.5.4  基于网格的聚类方法 173

7.6  关联分析 174

7.6.1  关联分析相关概念 174

7.6.2  FP-Growth算法 175

7.6.3  关联分析示例 176

7.7  时间序列分析 181

7.7.1  时间序列的基本概念 181

7.7.2  时间序列的平稳性 181

7.7.3  时间序列的建模方法 182

7.7.4  时间序列的预测 183

7.7.5  时间序列分析示例 184

7.8  异常点检测 192

7.8.1  异常点检测概述 192

7.8.2  异常点检测方法 193

7.8.3  异常点检测示例 193

第8章  深度学习 199

8.1  深度学习基础 199

8.2  卷积神经网络 202

8.2.1  CNN的基本原理 202

8.2.2  CNN应用示例 204

8.3  循环神经网络及其特殊架构 217

8.3.1  循环神经网络 217

8.3.2  长短期记忆网络 219

8.3.3  门控循环神经网络 221

8.4  注意力机制 222

8.5  Transformer模型 226

第9章  自然语言处理 229

9.1  自然语言处理概述 229

9.2  文本表示方法 230

9.2.1  独热编码 231

9.2.2  TF-IDF方法 231

9.2.3  Word2Vec模型 232

9.2.4  GloVe预训练模型 233

9.2.5  BERT预训练模型 234

9.3  大语言模型及示例 236

第10章  日志异常检测 244

10.1  数据预处理 245

10.1.1  常用数据集介绍 245

10.1.2  日志数据处理 246

10.2  HDFS日志异常检测 247

10.2.1  日志解析与模板匹配 248

10.2.2  事件序列构建 252

10.2.3  滑动窗口处理 257

10.2.4  特征工程与标签关联 259

10.2.5  模型训练与评估 262

10.3  日志异常检测经典模型及示例 264

10.3.1  DeepLog模型及示例 265

10.3.2  LogAnomaly模型及示例 274

10.3.3  LogRobust模型及示例 278

第11章  面向微服务的根因定位 281

11.1  引言 281

11.2  数据集 282

11.2.1  数据采集 282

11.2.2  公开数据集 284

11.3  根因定位方法 286

11.4  根因定位的关键技术 288

11.4.1  异常检测 288

11.4.2  PageRank算法及示例 289

11.4.3  随机游走算法 296

11.4.4  深度优先搜索 297

11.4.5  皮尔逊相关系数 298

11.4.6  根因定位关键技术总结 298

第12章  网络流量异常检测 300

12.1  引言 300

12.2  网络流量分类与数据集 301

12.2.1  网络异常流量分类 301

12.2.2  公开数据集 302

12.3  数据预处理 308

12.4  网络流量异常检测方法 313

12.5  网络流量异常检测示例 315

12.5.1  基于SVM的网络流量异常检测 315

12.5.2  基于DNN的网络流量异常检测 322