大数据处理技术概论(微课版)
构建大数据应用宏观视角,理顺大数据处理流程和技术支持,拓展大数据生态的构建和应用。资源下载 / 课件下载 含本书教学课件、教学大纲、课后习题参考答案等。

作者:王宏亮

丛书名:高等院校计算机教育系列教材

定价:49.8元

印次:1-1

ISBN:9787302664284

出版日期:2024.07.01

印刷日期:2024.06.28

图书责编:陈冬梅

图书分类:教材

电子书
在线购买
分享
内容简介
作者简介
前言序言
资源下载
查看详情 查看详情 查看详情

大数据处理技术是大数据技术的核心,主要以Hadoop生态系统为依托,实现数据收集、数据存储、数据处理、统计分析、数据挖掘、模型预测、结果呈现等完整的应用过程。《大数据处理技术概论(微课版)》首先通过一个大数据分析案例展示大数据工程全貌,理顺大数据处理技术体系,其次分析Hadoop生态系统中各个组件技术与应用的衔接,最后再以一个完整案例综合印证相关知识、方法和工具。 《大数据处理技术概论(微课版)》面向大学三年级以上学生群体和研究生阶段学生,也可作为从事大数据分析与挖掘、人工智能工程人员的参考书。它对于大数据相关研究和应用的掌握具有科学性和实用性的指导意义。

王宏亮,辽宁石油化工大学人工智能能与软件学院软件工程系副教授,企业管理博士,长期从事课程与科研、职业培训等领域的研究与教学工作。先后主持辽宁省自然科学基金项目一项,辽宁省教育厅一般科学研究项目一项,辽宁省教育科学规划项目两项,发表在《计算机集成制造系统》等杂志的EI论文多篇,主编出版教材1部,副主编出版译著1部、教材2部,参编多部。

前 言 写作背景   自2014年大数据首次写入政府工作报告起,我国不断出台大数据相关政策,《2022年提升全民数字素养与技能工作要点》更是提出了大数据产业发展的宏伟愿景。   大数据价值创造的关键在于其应用,大数据技术正快速发展成为新一代信息技术,并形成了一种新的服务业态。大数据技术与应用的研究方向是将大数据分析、挖掘、处理、移动开发与架构、软件开发、云计算等前沿技术相结合的“互联网+”前沿科技。   然而,大数据涉及的知识面广泛,生态环境发展迅速。首先需要培养大数据思维,才能有效运用大数据技术服务于各种应用场景。这就需要学习者能够从宏观上构建对大数据生态环境的认知,掌握大数据处理的流程及相关方法和技术。在明确的应用思路引导下,融会贯通这些知识,才能进一步结合大数据应用场景展开研究、应用和探索。 写作思路   针对以上问题,本书立足于“知其然,更要知其所以然”的理念,从大数据典型案例出发,理解大数据应用的目标、过程和技术。本书突出大数据处理的完整过程,强调从大数据应用原理出发,掌握大数据生态环境组件间的依赖关系。首先构建大数据应用工程的宏观视角,继而以大数据核心技术Hadoop贯穿大数据项目的主体实施过程,理顺大数据处理的流程和技术支持,最终拓展Google大数据生态的构建和应用,完成大数据工程实践的指引。特别是单独引入一个大数据分析/挖掘应用案例,验证大数据知识体系的使用,综合培养读者的大数据工程职业技能。同时,提供案例源码,支持学习实践,完成知识与能力的闭环提升。本书力争淡化理论概念,突出实用理解,达到学以致用的目的。 本书内容   本书共分为11章...

课件下载

样章下载

暂无网络资源

扫描二维码
下载APP了解更多

目录
荐语
查看详情 查看详情
目    录

第1章  大数据处理技术概述 1

1.1  对大数据的认知 1

1.1.1  从数据分析决策认识大数据

——啤酒与尿布案例 1

1.1.2  大数据的概念与发展 5

1.2  大数据技术与大数据处理技术 7

1.2.1  大数据技术架构 7

1.2.2  大数据处理技术 9

1.2.3  大数据处理流程 11

1.2.4  大数据技术生态 12

1.3  大数据处理技术构成 13

1.4  大数据分析的4种典型工具 15

1.5  大数据应用的未来发展趋势 16

课后练习题 16

第2章  大数据采集及预处理 18

2.1  大数据采集 18

2.1.1  大数据采集的概念 18

2.1.2  数据的分类 19

2.1.3  数据的来源 19

2.1.4  大数据采集方法分类 20

2.1.5  大数据采集的技术方法 20

2.2  数据存储——HDFS与CSV 21

2.2.1  分布式文件系统HDFS 21

2.2.2  HDFS文件转换 23

2.2.3  HDFS文件系统读写原理 27

2.2.4  CSV文件 28

2.3  大数据预处理 30

2.4  特征工程 32

2.4.1  特征工程的定义 33

2.4.2  特征工程处理流程 33

2.5  大数据采集及预处理主要工具示例 39

课后练习题 40

第3章  大数据分析概论 41

3.1  大数据分析的概念与方法 41

3.2  大数据分析流程 42

3.2.1  数据理解与提出问题 43

3.2.2  数据统计分析与...

《大数据处理技术概论(微课版)》立足“知其然,更要知其所以然”理念,从大数据典型案例出发理解案例应用的目标、过程和技术,强调从大数据应用原理出发掌握大数据环境间的依赖关系,首先构建大数据工程宏观视角,继而由大数据核心技术Hadoop贯穿大数据项目的主体实施过程,理顺大数据处理的流程和技术支持,最终拓展Google大数据生态的构建和应用,完成大数据工程实践的指引。核心思路是以明确的知识主线引领和融汇学习者知识体系,促进知识重构的展开,力争淡化理论概念而突出实用理解,达到学以致用的目的。