随书资源

目录

第1章概述

1.1大数据基础

1.1.1大数据的定义与特征

1.1.2我国的大数据发展及趋势

1.1.3大数据的应用

1.1.4大数据的层次架构

1.2大数据技术

1.2.1大数据关键技术

1.2.2大数据支撑技术

1.3大数据的影响及思维方式

1.3.1大数据的影响

1.3.2大数据的思维方式

1.4大数据伦理及安全

1.4.1大数据伦理

1.4.2大数据安全

1.5本章小结

习题

第2章大数据采集技术基础

2.1传统数据采集技术

2.1.1传统数据采集及特点

2.1.2传统数据采集的硬件与软件

2.1.3传统数据采集的关键技术

2.2大数据采集基础

2.2.1大数据采集的概念

2.2.2大数据采集的要点

2.2.3大数据的来源

2.2.4大数据采集的基本方法

2.3大数据分布式文件系统

2.3.1数据管理技术的发展

2.3.2HDFS概述

2.3.3HDFS特点

2.3.4HDFS工作原理

2.3.5HDFS的读/写数据流程

2.4分布式数据库系统HBase

2.4.1分布式关系数据库系统的缺陷

2.4.2HBase简介

2.4.3HBase的数据模型关键要素

2.4.4HBase的体系结构

2.5大数据分布式数据仓库

2.5.1数据仓库的特点

2.5.2Hive的内部架构

2.5.3Hive的数据组织

2.6本章小结

习题

第3章系统日志数据采集

3.1系统日志数据采集概述

3.1.1系统日志分类

3.1.2日志分析应用场景

3.1.3系统日志收集方法

3.2Flume数据采集

3.2.1Flume效益

3.2.2Flume整体结构

3.2.3Flume的核心部件Agent

3.2.4Flume运行机构

3.3Scribe数据采集

3.3.1Scribe的功能

3.3.2Scribe的架构

3.3.3Scribe的流程

3.3.4Scribe存储类型

3.4Event Log Analyzer数据采集

3.4.1Event Log Analyzer特点

3.4.2Event Log Analyzer主要功能

3.4.3Event Log Analyzer的可视化用户界面

3.5基于Log Parser的数据采集

3.5.1Log Parser组成部分

3.5.2Log Parser Lizard软件功能

3.5.3Log Parser Lizard软件特色

3.6本章小结

习题

第4章大数据迁移

4.1数据迁移基础

4.1.1大数据迁移的需求

4.1.2大数据迁移的风险

4.1.3大数据迁移的流程

4.1.4大数据迁移任务类型

4.2数据迁移相关技术

4.2.1基于存储的数据迁移

4.2.2基于主机逻辑卷的数据迁移

4.2.3基于数据库的数据迁移

4.2.4基于服务器虚拟化的数据迁移

4.3大数据迁移工具Sqoop

4.3.1Sqoop概述

4.3.2Sqoop的数据导入

4.3.3Sqoop的数据导出

4.4ETL数据迁移技术

4.4.1ETL概述

4.4.2ETL的实现模式

4.4.3ETL工具

4.5本章小结

习题

第5章互联网数据采集

5.1网络爬虫概述

5.1.1网络爬虫的基本概念

5.1.2网络爬虫的爬行策略

5.1.3Web更新策略

5.1.4robots协议

5.2网络爬虫方法

5.2.1按功能分类的网络爬虫

5.2.2通用网络爬虫

5.2.3焦点网络爬虫

5.2.4Deep Web爬虫

5.2.5分布式网络爬虫

5.3网络爬虫工具

5.3.1ParseHub

5.3.2Web Scraper

5.3.3后羿采集器

5.3.4八爪鱼收集器

5.4Python爬虫技术

5.4.1Python爬行器基础知识

5.4.2反爬虫与反爬虫技术

5.5本章小结

习题

第6章数据预处理基础

6.1数据的描述

6.1.1数据对象与属性类型

6.1.2数据的统计描述

6.1.3数据矩阵与相似（相异）矩阵

6.2相似性或相异性度量方法

6.2.1标称属性相似性或相异性的度量

6.2.2二元属性相似性或相异性的度量

6.2.3数值属性相似性或相异性的度量

6.2.4文档相似性和相异性的度量

6.3大数据质量

6.3.1常见的数据质量问题

6.3.2大数据质量标准 

6.4本章小结

习题

第7章数据清洗与集成

7.1数据清洗基础

7.1.1数据清洗的任务

7.1.2数据清洗的前期准备

7.1.3数据清洗的一般性系统框架

7.2数据清洗技术

7.2.1缺失值处理

7.2.2光滑噪声数据处理

7.2.3检测偏差与纠正偏差

7.3数据集成基础

7.3.1数据集成的难点

7.3.2数据集成的方式

7.4数据集成技术

7.4.1模式识别和对象匹配

7.4.2冗余处理

7.4.3数据值冲突的检测与处理

7.5本章小结

习题

第8章数据归约与变换

8.1数据归约基础

8.1.1数据归约策略

8.1.2数据归约算法的特点

8.1.3数据归约的一般方法

8.2数据归约技术

8.2.1小波变换

8.2.2主成分分析

8.2.3属性子集选择

8.2.4回归和对数线性模型

8.2.5直方图

8.2.6数据立方体聚集

8.3数据变换基础

8.3.1数据变换内容

8.3.2数据变换的意义

8.4数据变换技术

8.4.1规范化变换

8.4.2离散化变换

8.4.3标称数据的概念层次变换

8.5本章小结

习题

第9章大数据采集实验

9.1实验1基于EventLog Analyzer的日志分析

9.2实验2基于Log Parser的日志处理

9.3实验3基于八爪鱼采集器的网络信息爬取

9.4实验4了解和使用Python和requests库

9.5实验5使用PyCharm编写requests库爬虫

9.6实验6使用PyCharm编写BeautifulSoup库爬虫

9.7本章小结

第10章大数据预处理实验

10.1实验1启动、了解SaCa大数据实验平台

10.2实验2使用SaCa大数据实验平台分析数据

10.3实验3大数据预处理基础——数据集成

10.4实验4缺失值填充

10.5实验5数据规范化

10.6实验6连续特征离散化

10.7实验7主成分分析

10.8实验8相关性特征选择

10.9本章小结

第11章大数据采集与预处理应用案例

11.1基于Pandas图书数据分析处理

11.1.1案例意义

11.1.2Pandas库

11.1.3图书数据采集

11.1.4数据预处理及分析

11.2石油数据预处理系统

11.2.1石油数据预处理系统需求

11.2.2石油数据预处理系统流程

11.2.3石油数据预处理算法

11.2.4实验数据预处理结果分析

11.3电影票房预测数据分析处理

11.3.1案例意义

11.3.2数据处理流程

11.3.3数据采集和分析

11.3.4数据处理和预测

参考文献