





定价:89元
印次:1-1
ISBN:9787302666998
出版日期:2024.08.01
印刷日期:2024.07.19
图书责编:夏毓彦
图书分类:零售
"《数据资产管理核心技术与应用》深入探讨数据资产管理的核心技术与应用,融入作者在大数据领域多年的丰富经验。《数据资产管理核心技术与应用》为读者提供一套可以落地的数据资产管理框架,并详解两个基于该框架进行数据资产管理的应用案例,使读者能更好地了解数据资产管理底层所涉及的众多核心技术,让数据可以发挥出更大的价值。《数据资产管理核心技术与应用》配套PPT课件、示例源代码、作者微信群答疑服务。 全书共分10章,第1章主要让读者认识数据资产,了解数据资产相关的基础概念,以及数据资产的发展情况。第2~8章主要介绍大数据时代数据资产管理所涉及的核心技术,内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9~10章主要从实战的角度介绍数据资产管理技术的应用实践,包括如何对元数据进行管理以发挥出数据资产的更大潜力,以及如何对数据进行建模以挖掘出数据中更大的价值。 《数据资产管理核心技术与应用》适合数据资产管理者、数据资产管理初学者、数据应用开发工程师、数据分析师、数据库管理员、架构师、产品经理、技术经理作为技术参考书,也适合高等院校或高职高专数据资产管理相关课程的教学参考书。"
张永清,从事功能测试、自动化测试、性能测试、Java软件开发、大数据开发、架构师等工作十多年,在自动化测试设计、性能测试设计、性能诊断、性能调优、分布式架构设计等方面积累了多年经验。参与过的系统涉及公安、互联网、移动互联网、大数据、人工智能等领域。先后任职于江苏飞搏软件、苏宁大数据研发中心、苏宁研究院、苏宁人工智能研发中心、紫金普惠研发中心、福特汽车工程研究有限公司,历任测试经理、技术经理、部门经理、高级架构师等职位。重点关注大数据、图像处理、高性能分布式架构设计等领域。著有图书《软件性能测试、分析与调优实践之路(第2版)》《软件性能测试、分析与调优实践之路》《Robot Framework自动化测试框架核心指南》。
前 言 随着互联网技术的稳步发展以及人工智能时代的到来,我们已经迈入了一个数据激增的时代。每时每刻都在产生大量的数据,数据的格式和种类也在不断增加。与此同时,大数据技术和架构也在不断变革。传统的数据仓库已经无法满足海量数据的存储和分析需求,于是出现了数据湖以及湖仓一体的新型大数据技术架构。由此可以看到,随着大数据的发展,数据存储和分析会变得越来越复杂,海量数据的管理也会变得越来越重要。同时,随着人工智能技术越来越成熟,海量数据可以更好地服务于人工智能的模型训练,让人工智能变得更加准确。 本书从技术与应用两个角度讲述了如何管理数据资产、解决数据资产管理中面临的诸多技术痛点,从而让数据终端用户或者数据分析师等能快速找到自己想要的数据,让数据可以发挥出更大的价值。 关于本书 本书聚焦数据资产管理的核心技术与应用,作者分享了多年大数据工作中积累的相关技术与经验,旨在为读者提供一套可以落地的数据资产管理框架,基于该框架进行数据资产管理实践,让读者能更好地学习和理解数据资产管理底层所涉及的众多核心技术。 本书内容可以分为如下三个部分来理解: (1)第1章,主要让读者认识数据资产,了解数据资产相关的基础概念及其发展情况。 (2)第2~8章,主要介绍大数据时代数据资产管理包含的核心技术,内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等,全面介绍数据资产管理底层所涉及的核心技术。 (3)第9~10章,主要从实战的角度介绍数据资产管理的应用实践,包括如何对元数据进行管理以发挥出数据资产的更大潜力,以及如何对数据进行...
第 1 章 认识数据资产 1
1.1 数据资产的基本介绍 1
1.2 数据资产的分类 4
1.3 数据资产的价值评估 5
1.4 数据资产的质量 6
1.5 数据资产的存储 6
1.6 数据资产管理 9
1.7 数据资产管理的信息化建设 11
1.8 数据资产与人工智能 11
第 2 章 元数据的采集与存储 13
2.1 Hive中的元数据采集 14
2.1.1 基于Hive Meta DB的元数据采集 14
2.1.2 基于Hive Catalog的元数据采集 18
2.1.3 基于Spark Catalog的元数据采集 21
2.2 Delta Lake中的元数据采集 29
2.2.1 基于Delta Lake自身设计来采集元数据 31
2.2.2 基于Spark Catalog来采集元数据 32
2.3 MySQL中的元数据采集 34
2.4 Apache Hudi中的元数据采集 41
2.4.1 基于Spark Catalog采集元数据 42
2.4.2 Hudi Timeline Meta Server 43
2.4.3 基于Hive Meta DB采集元数据 47
2.5 Apache Iceberg中的元数据采集 49
2.5.1 Iceberg的元数据设计 50
2.5.2 Iceberg元数据的采集 54
2.6 元数据的存储模型设计 56
2.6.1 如何对元数据进行整合 56
2.6.2 元数据的存储模型设计 57
第 3 章... 查看详情