前言 大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据技术涉及的知识点非常多，一本书根本无法覆盖所有的知识点。本书从各专业对大数据技术需求的实际情况出发，从大数据技术涉及的基本知识开始，层层推进大数据相关技术的讲解，让初学者能够轻松理解并快速掌握。本书对每个知识点都进行了深入分析，并针对每个知识点精心设计了相关案例。 全书共13章。 第1章 Hadoop大数据处理架构。主要介绍大数据的基本概念、大数据计算模式与典型系统、Hadoop发展历程、Hadoop优缺点、Hadoop生态圈、在VirtualBox上搭建Linux操作系统、Hadoop安装前的准备工作与Hadoop的安装与配置。 第2章 HDFS分布式文件系统。主要介绍HDFS基本特征、HDFS存储架构及组件功能、HDFS读写文件流程、HDFS的Shell操作、HDFS编程实战。 第3章 YARN资源管理。主要介绍YARN基础架构和YARN常用命令。 第4章 MapReduce分布式计算框架。主要介绍MapReduce工作原理、MapReduce工作机制、MapReduce编程类、MapReduce编程实现词频统计。 第5章 HBase分布式数据库。主要介绍HBase系统架构和数据访问流程、HBase数据表、HBase安装与配置、HBase的Shell操作、HBase的Java API操作、HBase案例实战和利用Python语言操作HBase。 第6章 流数据采集。主要介绍Flume和Kafka两种流数据采集工具。 第7章 典型非关系数据库的安装与使用。主要介绍“键值”数据库、列族数据库、文档数据库和图数据库。 第8章 分布式数据分析工具Pig。主要介绍Pig安装与配置和Pig Latin语言。 第9章 Spark大数据处理框架。主要介绍Spark运行机制、Spark的安装及配置、使用PySpark编写Python语言代码、安装pip工具和常用的数据分析库、安装Anaconda和配置Jupyter Notebook。 第10章 基于Python语言的Spark RDD编程。主要介绍RDD的创建方式、RDD转换操作、RDD行动操作、RDD之间的依赖关系、RDD的持久化以及利用Spark RDD实现词频统计的案例实战。 第11章 基于Python语言的Spark SQL结构化数据处理。主要介绍创建DataFrame对象的方法、将DataFrame对象保存为不同格式的文件、DataFrame的常用操作、使用Spark SQL读写MySQL数据库。 第12章 Hive分布式数据仓库。主要介绍Hive的安装、MySQL数据库常用操作、Hive的数据类型和Hive基本操作。 第13章 典型数据可视化工具的使用。主要介绍用基于Python语言编程的WordCloud绘制词云图库、PyeCharts数据可视化库和Tableau绘图软件。 本书可作为高等院校计算机、信息管理、软件工程、人工智能、智能科学与技术、数据科学与大数据技术等相关专业的大数据技术课程教材，也可供相关技术人员参考。 本书由曹洁、齐平、陈明、王福成著，参与撰写的还有崔念杰、周开来、范乃梅、胡春晖。 在本书撰写和出版过程中得到了铜陵学院、清华大学出版社的大力支持和帮助，在此表示感谢。 本书在撰写过程中，参考了大量专业书籍和网络资料，在此向这些作者表示感谢。 由于编写时间仓促，作者水平有限，书中肯定会有不少缺点和不足，热切期望得到专家和读者的批评指正。您如果遇到任何问题，或有更多的宝贵意见，欢迎发送邮件至邮箱bailj@tup.tsinghua.edu.cn,期待能够收到您的真挚反馈。 作者2024年3月

• 暂无课件
• 样章下载
• 暂无网络资源

扫描二维码
下载APP了解更多

版权图片链接