Hadoop 3.x大数据应用开发实践(微课版)
深入解析Hadoop 3.x核心技术,理论结合实际,以企业级案例为主线,项目驱动学习,助您快速掌握大数据开发实战技巧,并为后续 Spark、Flink等技术的学习奠定坚实基础。

作者:马卫花、杨恩宁、王文明、杨清永、张文胜

丛书名:面向新工科专业建设计算机系列教材

定价:69元

印次:1-1

ISBN:9787302717041

出版日期:2026.06.01

印刷日期:2026.06.25

图书责编:杨帆

图书分类:教材

电子书
在线购买
分享
内容简介
作者简介
前言序言
资源下载
查看详情 查看详情 查看详情

"本书以Hadoop 3.x技术体系为核心,系统介绍了大数据平台的基础理论、核心技术及典型应用实践案例。全书内容分为3部分: 基础篇主要讲解了大数据与Hadoop生态体系,集群搭建及Hive、HBase、Sqoop等组件的安装与配置;核心篇重点阐述了HDFS存储机制与MapReduce分布式计算框架的原理及编程实现,并通过典型算法实例提升大数据编程能力;应用篇通过互联网招聘、城市空气质量、地铁客流量、医保数据及电商零售5个案例,系统呈现了企业级大数据解决方案的开发流程。 全书采用“理论+实践”的教学模式,每个技术点都配有详细的实践案例和操作步骤。在基础理论部分,重点讲解Hadoop 3.x的架构原理和关键技术改进;在实践应用部分,提供完整的项目代码和开发文档,涵盖数据采集、存储、处理分析、可视化展示的全流程开发。 本书适合作为高等院校大数据、计算机科学与技术、人工智能等相关专业教材,也可作为大数据开发工程师、数据分析师等从事大数据技术相关工作技术人员的参考宝典。 "

前言 21世纪是数字技术重塑世界的时代。随着云计算、人工智能、物联网等新一代信息技术的深度融合,人类社会正加速迈向数字化、网络化、智能化的新纪元。数据作为核心生产要素,已成为国家战略资源和产业创新基石。我国通过“东数西算”工程和国家数据局的战略布局,构建起覆盖数据存储、计算、安全与共享的全链条能力体系,为数字经济发展注入强劲动能。在这一背景下,大数据技术不仅是企业转型升级的核心引擎,更成为全球人才竞争的高地。据权威统计,大数据领域人才缺口持续扩大,具备实战能力的技术专家已成为行业争抢的焦点。 习近平总书记指出,“教育是国之大计、党之大计”,强调“要把服务国家作为最高追求”。大数据技术作为国家战略科技力量的重要组成部分,是破解“卡脖子”难题、赋能新质生产力的关键引擎。本书立足新时代高等教育使命,以“为党育人、为国育才”为根本导向,将技术能力培养与价值引领深度融合,致力于培养兼具家国情怀、创新精神与实践能力的复合型人才。本书以Hadoop应用实践为核心,引导学生深刻理解“核心技术必须掌握在自己手中”的时代命题,激发科技报国的使命担当。 作为大数据生态的基石,Hadoop以其高容错性、高扩展性和开源优势,始终占据企业级数据平台的核心地位。Hadoop 3.x版本在资源调度效率(如YARN升级)、存储性能(HDFS纠删码技术)、计算能力(支持GPU和容器化)等方面实现突破性提升,同时强化了对机器学习、实时分析等场景的支持。掌握Hadoop 3.x技术栈,意味着能够驾驭从海量数据存储到分布式计算的全流程解决方案,这是现代数据工程师不可或缺的核心竞争力。 本书基于作者团队在...

目录
荐语
查看详情 查看详情
目录

基础篇

第1章绪论31.1大数据概述3

1.2Hadoop概述4

1.3数据分析5

1.3.1数据分析流程5

1.3.2数据分析应用6

1.4本章小结7

习题17

第2章环境安装8

2.1Hadoop发行的版本8

2.2Hadoop集群架构9

2.3Hadoop集群搭建11

2.3.1Hadoop集群规划11

2.3.2安装JDK11

2.3.3安装Hadoop12

2.3.4Hadoop集群配置12

2.3.5格式化HDFS15

2.3.6Hadoop集群安装验证15

2.4安装Hive16

2.4.1Hive简介16

2.4.2Hive的安装16

2.4.3Hive的配置18

2.4.4安装验证20

2.5安装HBase21

2.5.1HBase简介21

2.5.2安装ZooKeeper21

2.5.3HBase安装及配置23

2.6安装Sqoop26

2.7本章小结27

习题227

目录〖3〗核心篇

第3章HDFS分布式文件系统313.1HDFS概述31

3.1.1GFS分布式文件系统31

3.1.2HDFS分布式文件系统32

3.2HDFS架构32

3.3HDFS读写流程35

3.3.1HDFS读取文件操作35

3.3.2HDFS写文件操作36

3.4访问HDFS37

3.4.1HDFS Shell命令37

3.4.2HDFS Java API编程39

3.5本章小结48

习题348

第4章MapReduce分布式计算框架49

4.1认识MapReduce49

... 查看详情

"1.内容体系完整、理论与实践并重:本书编写注重实践应用,将Hadoop理论知识与实际操作紧密结合,旨在帮助读者加深理论理解,并提高大数据分析问题的解决能力。

2.实验内容设计科学、由浅入深:实验内容从基础到高级逐步展开,具有明确的实验目标,操作性强,帮助读者在学习过程中巩固知识,提升数据挖掘能力。

3.实验环节完整、配套视频教学:每章重难点知识点都配有视频讲解,帮助读者更好地理解和掌握。

4.实用性强,适用范围广:本书不仅适合作为大数据课程的教材,还适用于大数据工程师和数据分析师作为实用参考书,具有广泛的适用性和实际指导意义。

"


查看详情