1.2 产品架构
DB Civil是新一代融合型数据仓库,采用Share Data架构,存算分离设计,实现数据共享,计算资源弹性分配,相比传统的MPP数据库,资源可以按需扩充,扩容不需要重新分配数据,支持对象存储,数据加载快、计算时延低、读写混载能力优秀,存储访问更优。

DB Civil产品架构主要分三部分,元数据服务层、数据计算层和数据存储层。支持SQL和ACID事务,支持JSON等类型的半结构数据和图片等非结构数据,软硬件一体化安装,同时提供存证固证,用户不需要关心机器、运维、调优、扩容,只需关注数据分析,系统高可用,数据可靠安全,适用于业务不断增长的大数据分析,能够帮助企业提高运维效率和加强安全保障。

1.2.1 数据存储层
· 数据类型
包括用户原始数据、维度模型数据、指标汇总数据、集市应用数据、分
析结果数据、运行产生的中间过程数据等
· 存储类型
· 对象存储
优点:Restful API存取数据、高可用和高持久性、成本更低,适合数据湖存储;Raw data(schemaless)、历史数据归档;存算分离、架构灵活
缺点:不能随机写;解决方案:通过追加写结合业务使用实现数据更新
· 本地磁盘
优点:支持随机写,支持Index,可用于HTAP场景和数仓模型范式化数据存储
缺点:成本高
· 融合存储
结合对象存储和本地磁盘的融合性数据存储,可以更好的应对各类业务对数据的灵活性、访问性能、数据集成共享的需求
1.2.2 数据计算层
灵活划分计算群
· 按需创建计算群资源,计算群可以包括2个或多个计算节点
· 计算群之间性能隔离
· 支持多租户管理
· 支持在线扩展
缓存加速
· 本地磁盘作为缓冲介质
· 同一计算群的缓存进程组成分布式缓存
计算模式
· 分布式并行执行计划,采用Scatter-Gather技术自动完成数据分布、重组及汇聚
· 采用CBO基于统计信息优化
· Pipeline内存计算模式
基于内核Control-Group精准控制CPU、MEM资源
1.2.3 元数据服务层
目标数据
包括表到对象的映射、数据库数据字典、统计信息、WAL日志、索引信息、
部分公共用户数据、第三方服务配置信息等
服务种类
· 访问控制、查询优化、分布式事务、锁管理等
· 集群监控、资源分配、在线扩展、故障恢复等管理
· 集成第三方软件或产品
数据持久化
本地磁盘永久存储元数据