1.2 产品架构

DB Civil是新一代融合型数据仓库,采用Share Data架构,存算分离设计,实现数据共享,计算资源弹性分配,相比传统的MPP数据库,资源可以按需扩充,扩容不需要重新分配数据,支持对象存储,数据加载快、计算时延低、读写混载能力优秀,存储访问更优。

DB Civil产品架构主要分三部分,元数据服务层、数据计算层和数据存储层。支持SQL和ACID事务,支持JSON等类型的半结构数据和图片等非结构数据,软硬件一体化安装,同时提供存证固证,用户不需要关心机器、运维、调优、扩容,只需关注数据分析,系统高可用,数据可靠安全,适用于业务不断增长的大数据分析,能够帮助企业提高运维效率和加强安全保障。


1.2.1 数据存储层

· 数据类型

包括用户原始数据、维度模型数据、指标汇总数据、集市应用数据、分

析结果数据、运行产生的中间过程数据等

· 存储类型

· 对象存储

优点:Restful API存取数据、高可用和高持久性、成本更低,适合数据湖存储;Raw data(schemaless)、历史数据归档;存算分离、架构灵活

缺点:不能随机写;解决方案:通过追加写结合业务使用实现数据更新

· 本地磁盘

优点:支持随机写,支持Index,可用于HTAP场景和数仓模型范式化数据存储

缺点:成本高

· 融合存储

结合对象存储和本地磁盘的融合性数据存储,可以更好的应对各类业务对数据的灵活性、访问性能、数据集成共享的需求


1.2.2 数据计算层

灵活划分计算群

· 按需创建计算群资源,计算群可以包括2个或多个计算节点

· 计算群之间性能隔离

· 支持多租户管理

· 支持在线扩展

缓存加速

· 本地磁盘作为缓冲介质

· 同一计算群的缓存进程组成分布式缓存

计算模式

· 分布式并行执行计划,采用Scatter-Gather技术自动完成数据分布、重组及汇聚

· 采用CBO基于统计信息优化

· Pipeline内存计算模式

基于内核Control-Group精准控制CPU、MEM资源

1.2.3 元数据服务层

目标数据

包括表到对象的映射、数据库数据字典、统计信息、WAL日志、索引信息、

部分公共用户数据、第三方服务配置信息等

服务种类

· 访问控制、查询优化、分布式事务、锁管理等

· 集群监控、资源分配、在线扩展、故障恢复等管理

· 集成第三方软件或产品

数据持久化

本地磁盘永久存储元数据