本书详解Greenplum构建实时数据仓库,涉及的具体技术包括:
MySQL主从复制,保证为业务系统提供可靠的数据库服务,并提供数据来源。
Canal Server实时获取增量MySQL binlog,并将其传入Kafka消息队列。
Kafka将消息持久化,同时提供可伸缩、高吞吐的消息服务。
Canal ClientAdapter负责消费Kafka中的消息,将数据流传输到Greenplum。
Greenplum提供实时ETL功能,自动维护操作数据存储、维度表与事实表。
Greenplum数据库权限与角色管理、数据导入导出、性能优化、监控与维护。
Greenplum集成机器学习库MADlib,对数据进行分析与挖掘。