目录
第一部分数据时代呼唤大数据软件
第1章从大数据分析到大数据应用软件31.1什么是大数据分析3
1.1.1什么是大数据3
1.1.2从大数据到大数据分析4
1.2大数据分析案例5
1.2.1回归预测: 大数据预言秋季流感5
1.2.2精准分类: Visa捕获欺诈分子6
1.2.3个性推荐: 千人千面的智能购物体验7
1.2.4智能生成: 内容创作的智能飞跃7
1.3进化: 从“手工作坊”到大数据分析软件化8
1.3.1大数据分析1.0时代: “手工作坊”式大数据分析8
1.3.2大数据分析2.0时代: 大数据分析工程化10
1.3.3大数据分析3.0时代: 大数据分析软件化10
第2章大数据应用软件工程新思维12
2.1工程——科学的实际应用12
2.1.1工程化方法的起源12
2.1.2软件工程的兴起13
2.1.3软件工程的“七条原理”与“七个阶段”14
2.2大数据应用软件开发的工程化之需16
2.2.1大数据应用软件开发之困与难16
2.2.2用工程思维破解大数据应用软件开发难题17
2.3大数据应用软件开发与传统软件开发的“同”与“不同”19
2.3.1相同之处: 质量与时效的严苛保障19
2.3.2不同之处: 数据驱动与以数据为核心21
2.4“大数据应用软件开发”应需而生23
2.4.1什么是大数据应用软件开发23
2.4.2大数据应用软件开发原则24
2.4.3大数据应用软件开发的能力需求24
目录〖3〗第3章大数据应用软件开发的“七种兵器”27
3.1感传一体: 数据采集27
3.1.1数据采集定义28
3.1.2数据采集面临的挑战28
3.1.3数据采集技术29
3.2多模海量: 数据存储30
3.2.1数据存储的定义30
3.2.2数据存储面临的挑战30
3.2.3数据存储技术31
3.3去芜存菁: 数据处理与融合32
3.3.1数据处理与融合的定义32
3.3.2数据处理与融合面临的挑战32
3.3.3数据处理与融合技术33
3.4直达根本: 特征工程34
3.4.1特征工程的定义34
3.4.2特征工程面临的挑战34
3.4.3特征工程技术35
3.5洞察玄机: 数据分析35
3.5.1数据分析的定义35
3.5.2数据分析面临的挑战36
3.5.3数据分析技术36
3.6明察秋毫: 数据可视化36
3.6.1数据可视化的定义37
3.6.2数据可视化面临的挑战37
3.6.3数据可视化技术38
3.7数链融合: 数据安全38
3.7.1数据安全的定义39
3.7.2数据安全面临的挑战39
3.7.3数据安全技术39
第二部分大数据应用软件工程
第4章大数据应用软件工程新范式434.1传统软件开发过程的范式转移43
4.1.1传统软件开发范式分析43
4.1.2向大数据应用软件开发的范式转移45
4.2敏捷并行化大数据应用软件工程范式48
4.2.1大数据应用软件工程的主要流程48
4.2.2大数据应用软件开发过程模型49
4.2.3敏捷并行化开发范式54
4.3案例: 用电大数据负荷预测系统56
4.3.1大数据赋能电力负荷预测56
4.3.2案例特点与开发流程58
第5章大数据需求分析61
5.1需求的来源与特点61
5.1.1业务功能→数据→需求61
5.1.2大数据背景下需求分析的特点62
5.2大数据需求分析的过程63
5.2.1大数据需求分析内容63
5.2.2需求确认、验证和审查65
5.2.3需求规格说明书的制定66
5.3需求分析常用工具68
5.3.1需求引导工具——思维导图69
5.3.2数据描述工具——数据流图69
5.4案例分析70
5.4.1案例需求提出70
5.4.2案例需求分析71
5.4.3案例需求确认、验证和审查78
第6章数据准备80
6.1数据集成80
6.1.1数据格式调查准备81
6.1.2数据源调查准备82
6.1.3数据接入与采集85
6.2数据处理86
6.2.1数据填充87
6.2.2数据去重87
6.2.3数据转换88
6.2.4数据校验88
6.2.5数据关联90
6.3数据探索和数据评估91
6.3.1数据探索91
6.3.2数据评估92
6.4案例分析93
6.4.1案例数据集成94
6.4.2案例数据处理95
6.4.3案例数据探索和评估96
第7章大数据特征工程100
7.1特征构建100
7.1.1分类数据编码100
7.1.2特征离散化102
7.1.3文本向量化102
7.1.4时间序列特征构建104
7.2特征选择105
7.2.1过滤法106
7.2.2包装法109
7.2.3嵌入法111
7.3特征降维114
7.3.1主成分分析114
7.3.2核主成分分析115
7.3.3线性判别分析115
7.3.4非负矩阵分解116
7.3.5截断奇异值分解117
7.4特征衍生117
7.4.1多项式特征衍生118
7.4.2机器学习特征衍生118
7.4.3神经网络特征衍生119
7.5特征分析工具120
7.5.1常用Python特征工程类库120
7.5.2自动化特征工程工具Featuretools121
7.5.3处理时间序列的特征工程工具Tsfresh122
7.5.4分类编码特征工具Categorical Encoding123
7.5.5全相关特征选择工具boruta_py123
7.6案例分析124
7.6.1负荷特征提取与特征选择124
7.6.2特征衍生与特征数据集构建130
第8章大数据建模训练134
8.1模型构建工具134
8.1.1数据分析语言工具134
8.1.2集成学习工具136
8.1.3深度学习框架138
8.2算法选择145
8.2.1传统机器学习算法145
8.2.2集成学习算法172
8.2.3深度学习算法176
8.3模型评估指标180
8.3.1准确率和错误率180
8.3.2精确率和召回率180
8.3.3PR曲线和F1score181
8.3.4ROC曲线182
8.3.5AUC曲线183
8.3.6回归问题的性能度量183
8.3.7推荐系统常见评估指标184
8.3.8其他评估指标185
8.4模型训练186
8.4.1模型训练准备186
8.4.2模型计算与参数优化189
8.4.3模型超参数选择193
8.4.4异常处理方式195
8.5案例分析198
8.5.1负荷预测模型构建198
8.5.2负荷预测模型分析205
第9章大数据模型反馈优化207
9.1模型性能监控和评估208
9.1.1指标收集208
9.1.2综合评分208
9.1.3评估报告209
9.2模型更新与迭代209
9.2.1模型重训209
9.2.2超参数调优209
9.2.3迁移学习210
9.2.4新模型开发210
9.3模型版本管理210
9.3.1版本管理流程210
9.3.2版本管理工具211
9.4案例分析212
9.4.1电力档案拓扑数据对齐优化模型212
9.4.2短期负荷预测模型修复215
第10章大数据模型即服务219
10.1模型服务化工具220
10.2模型服务开发221
10.2.1模型服务化改造221
10.2.2模型服务接口设计223
10.2.3模型服务参数配置和模型测试226
10.3模型服务部署和应用228
10.3.1模型部署和测试工具228
10.3.2模型服务部署流程230
10.3.3模型服务高级应用231
10.4案例分析232
10.4.1模型服务化工具选择232
10.4.2模型服务化开发233
10.4.3模型服务化部署和应用234
第11章大数据可视化235
11.1可视化基本原理及流程235
11.1.1可视化基本原理235
11.1.2数据编码及映射236
11.1.3可视化设计237
11.1.4可视化流程239
11.2大数据模型可视化的常见形式240
11.3常用可视化工具240
11.3.1ECharts240
11.3.2Python可视化241
11.3.3D3.js242
11.4案例分析243
第三部分从实践到未来: 大数据应用软件的实施与展望
第12章大数据行业应用实施方法249
12.1平台搭建及优化249
12.1.1平台规划及搭建249
12.1.2平台参数优化261
12.2模型部署和测试268
12.2.1模型部署流程268
12.2.2参数配置和测试280
12.3故障排查和处理282
12.3.1故障排查方法282
12.3.2常见异常问题283
12.4模型性能监控291
12.4.1模型评估指标检测292
12.4.2数据协变量偏移检测292
12.4.3数据标签偏移检测293
12.4.4数据概念偏移检测294
12.4.5运行效率监控294
12.4.6实时预警监控295
第13章大数据应用软件行业实施案例296
13.1全域智能的轮胎智能制造大数据可视化监控分析平台297
13.1.1背景297
13.1.2应用实现297
13.1.3应用成效307
13.2多源数据融合的待遇资格智能认证大数据分析平台308
13.2.1背景308
13.2.2应用实现308
13.2.3应用成效310
13.3个性化精准匹配的智慧人社主动服务平台311
13.3.1背景311
13.3.2应用实现312
13.3.3应用成效317
13.4数据智能驱动的医保基金分析平台317
13.4.1背景317
13.4.2应用实现318
13.4.3应用成效323
第14章大数据应用软件未来的发展趋势324
14.1数据巨人: 大模型的崛起324
14.2数据之盾: 区块链技术的重要性325
14.3数据之梦: 跨界融合的创新之路326
参考文献328
