前言

21世纪是数字技术重塑世界的时代。随着云计算、人工智能、物联网等新一代信息技术的深度融合，人类社会正加速迈向数字化、网络化、智能化的新纪元。数据作为核心生产要素，已成为国家战略资源和产业创新基石。我国通过“东数西算”工程和国家数据局的战略布局，构建起覆盖数据存储、计算、安全与共享的全链条能力体系，为数字经济发展注入强劲动能。在这一背景下，大数据技术不仅是企业转型升级的核心引擎，更成为全球人才竞争的高地。据权威统计，大数据领域人才缺口持续扩大，具备实战能力的技术专家已成为行业争抢的焦点。

习近平总书记指出，“教育是国之大计、党之大计”，强调“要把服务国家作为最高追求”。大数据技术作为国家战略科技力量的重要组成部分，是破解“卡脖子”难题、赋能新质生产力的关键引擎。本书立足新时代高等教育使命，以“为党育人、为国育才”为根本导向，将技术能力培养与价值引领深度融合，致力于培养兼具家国情怀、创新精神与实践能力的复合型人才。本书以Hadoop应用实践为核心，引导学生深刻理解“核心技术必须掌握在自己手中”的时代命题，激发科技报国的使命担当。

作为大数据生态的基石，Hadoop以其高容错性、高扩展性和开源优势，始终占据企业级数据平台的核心地位。Hadoop 3.x版本在资源调度效率（如YARN升级）、存储性能（HDFS纠删码技术）、计算能力（支持GPU和容器化）等方面实现突破性提升，同时强化了对机器学习、实时分析等场景的支持。掌握Hadoop 3.x技术栈，意味着能够驾驭从海量数据存储到分布式计算的全流程解决方案，这是现代数据工程师不可或缺的核心竞争力。

本书基于作者团队在高校大数据专业教学与大型企业项目实战中的双重经验，以“理论精准化、案例场景化、技能岗位化”为核心理念，打造符合新时代人才培养需求的实战指南。

本书采用“三横四纵”的架构设计。

(1) 横向维度: 基础理论→项目实战→综合创新。

(2) 纵向维度: 数据采集与存储（日志收集、分布式文件系统）→数据处理与分析（批处理、流计算）→数据管理与治理（元数据、数据质量）→数据服务与应用（API开发、可视化）。

与同类教材相比，本书具有以下特色。(1) 全栈技术体系覆盖。

基础篇: 讲解Hadoop的核心原理及开发环境的搭建。

核心篇: 深入解析HDFS的存储机制、MapReduce编程模型以及常用的数据分析算法。

应用篇: 结合真实业务场景，进行项目开发，提升大数据项目的实战经验与应用能力。

（2） 行业级项目实战设计。

互联网招聘行业: 分析拉勾网岗位招聘数据，完成数据清洗、分析及可视化。

智慧城市建设: 基于空气质量数据进行时序分析。

轨道交通行业: 分析地铁客流数据，挖掘出行规律。

智慧医疗行业: 基于Hive实现医保数据分析。

电商零售行业: 天猫婴幼儿用品销售数据分析及可视化。

（3） 产教融合特色突出。

开发规范: 集成阿里云大数据开发规范（含代码审查清单）。

工具链: 配套自研的容器化实验平台（支持在线调试和自动评测）。

故障库: 整理50余家企业真实故障案例（含解决方案和根因分析）。

（4） 教学资源立体丰富。

可视化教具: Hadoop集群运行状态实时监控系统（Web版）。

分层实验设计: 基础验证→综合设计→创新挑战3级实验体系。

微课视频: 关键技术点配套讲解视频（扫码即看）。

考试认证: 符合工业和信息化部大数据工程师认证考点要求。

本书由陕西五润信息技术有限公司技术总监马卫花和西安交通大学城市学院的杨恩宁任主编，主持全书编写及统稿;西安交通大学城市学院的王文明、中德应用技术大学通信学院的院长杨清永和西安欧亚学院的张文胜任副主编。本书的编写得到了多所高校教师和企业工程师的大力支持，特别感谢参与资料整理与校验的郭鑫茹、王羽萌、李思怡、柳思瑗，负责案例测试的学生团队，以及提供宝贵建议的行业专家，谨以此书向上述各位致以崇高的敬意!

由于大数据技术发展迅速，以及限于编者的水平，书中难免有不妥之处，恳请使用本书的老师和学生批评指正，提出宝贵意见和建议。我们将持续优化内容，与您共同探索大数据技术的未来。

编者2026年4月