大数据技术实践教程————基于华为ECS、MRS平台
本书依托华为ECS、MRS大数据平台,针对多项大数据技术详细介绍实验环境搭建、基本操作、编程实践环节的多个典型实例,由浅入深地构建动手实践学习指导。

作者:辛宇、钱江波、陈叶芳、罗思惠

丛书名:大数据与人工智能技术丛书

定价:69.8元

印次:1-1

ISBN:9787302718833

出版日期:2026.06.01

印刷日期:2026.06.16

图书责编:黄芝

图书分类:教材

电子书
在线购买
分享
内容简介
作者简介
前言序言
资源下载
查看详情 查看详情 查看详情

"本书是一本大数据技术实践指导教材,强调理论与实践相结合,旨在帮助读者掌握主流大数据技术的核心原理与应用方法。本书以华为ECS弹性云服务器和MRS管理式Hadoop平台为实践环境,系统讲解了Hadoop、Spark、流处理、NoSQL数据库、ETL工具、消息队列和分布式协调服务等主流大数据技术的应用与实践。 本书不仅详细讲解大数据技术的核心原理,还提供了丰富的实验案例,帮助读者将理论知识应用于实践,提升动手能力。涵盖了Hadoop、Spark、流处理、NoSQL数据库、ETL工具、消息队列和分布式协调服务等主流大数据技术,内容全面,紧跟技术发展趋势。此外,本书所有案例均在华为ECS和MRS平台中实现,并详细展示了MRS平台的环境搭建细节,为读者学习国产化软件提供了技术启蒙与指导。 本书可作为高等院校计算机科学与技术、软件工程、数据科学与大数据技术等相关专业的实践教材,以及供对大数据技术感兴趣的读者使用。 "

"辛宇,宁波大学信息科学与工程学院副教授,博士生导师,主要从事人工智能与大数据分析工作, 研究内容涉及图像分割、图像识别、大数据可视化分析等。钱江波,宁波大学信息科学与工程学院教授,博士生导师,中国计算机学会高级会员、分布式计算与系统专业委员会常务委员,浙江省计算机类专业教学指导委员会委员。陈叶芳,宁波大学信息科学与工程学院副教授,主要从事计算机视觉与人工智能研究工作,研究内容涉及知识蒸馏、场景理解、多媒体数据分析等。罗思惠,宁波大学信息科学与工程学院教师,主要从事计算机视觉与人工智能研究工作,研究内容涉及知识蒸馏、场景理解、多媒体数据分析等。"

前言 随着信息技术的飞速发展,全球数据量呈现爆炸式增长,人类社会正步入一个数据驱动的新时代。大数据技术作为信息时代的重要引擎,正在深刻地改变着我们的生活、工作和思维方式,也成为推动社会进步和经济发展的重要力量。 近年来,我国高度重视大数据产业发展,相继出台一系列政策措施,推动大数据技术与各行业深度融合,赋能传统产业转型升级。在此背景下,培养具备扎实理论基础和较强实践能力的大数据人才,已成为高校计算机相关专业的重要任务。此外,大数据技术已经成为计算机相关专业的重要教学内容之一,大数据技术是一种实践性很强的技术,大数据实践教材需要根据最新的技术发展和应用趋势,选择前沿的项目和案例,帮助读者了解和掌握最新的技术知识和应用方法。然而,大数据技术涉及知识面广、技术更新迭代快,传统的教学模式难以满足学生的学习需求。为了更好地适应时代发展,培养符合社会需求的大数据人才,我们编写了这本教材,本书依托华为ECS、MRS大数据平台,针对18项大数据技术开展详细介绍,并在实验环境搭建、基本操作、编程实践等环节设计了多个典型应用实例,由浅入深地指导读者进行动手实践学习。读者通过参考本书提供的大数据处理和大数据分析实验,可以有效提高实践能力和应用水平。 本书结构: 本书共分为7篇,每篇对应一个主流大数据技术领域。 (1) Hadoop篇包含Hadoop、HDFS、Yarn、MapReduce和Hive 5章,系统地展示了利用Hadoop平台对批量离线数据进行分析的技术方法。 (2) Spark篇针对Spark RDD、Spark SQL的批量离线数据处理技术进行了介绍,提供了多个Sp...

目录
荐语
查看详情 查看详情
目录

第一篇Hadoop篇

第1章Hadoop3

1.1任务目的和要求3

1.2Java环境的搭建3

1.2.1Ubuntu Java环境的安装3

1.2.2压缩包安装Java4

1.3Hadoop伪分布式安装5

1.3.1华为ECS的配置5

1.3.2Hadoop ECS的安装9

1.4华为云MRS的配置12

1.4.1购买及配置MRS服务12

1.4.2配置MRS集群客户端13

1.5Hadoop案例15

1.5.1ECS配置Yarn15

1.5.2Hadoop Shell 命令17

1.5.3目录操作17

1.5.4文件操作18

1.6Hadoop编程实践19

1.6.1hdfs读写编程19

1.6.2MapReduce编程23

1.7本章小结26

1.8实验任务27

1.8.1实验一: 多ECS节点Hadoop分布式集群搭建实验27

1.8.2实验二: 访问MRS集群上托管的开源组件Web页面27

1.8.3实验三: 华为MRS访问与管理27

第2章HDFS28

2.1任务目的和要求28

2.2HDFS配置28

2.3HDFS操作实践29

2.3.1HDFS的基本命令29

2.3.2权限和访问控制31

2.4HDFS MRS实践33

2.5HDFS编程实践37

2.5.1HDFS读文件37

2.5.2HDFS写文件40

2.6本章小结44

2.7实验任务44

2.7.1实验一: HDFS的基本操作实验44

2.7.2实验二: HDFS 数据合并与权限管理44

2.7.3实验三: ... 查看详情

本书是一本大数据技术实践指导教材,强调理论与实践相结合,以华为ECS弹性云服务器和MRS管理式Hadoop平台为实践环境,系统讲解了Hadoop、Spark、流处理、NoSQL数据库、ETL工具、消息队列和分布式协调服务等主流大数据技术的应用与实践。


查看详情