3.1 数据采集

众安标准大数据融合一体机采用流批混合负载的方式进行数据采集，对实时数据，准实时数据，批量数据等数据进行采集，并对采集的数据进行存储分析，以供需求应用。

3.1.1 批量数据采集

DB civil可以采用批量计算，通过数据网关支持大批量并行、持续化的数据加载，支持文件直接装载，支持通过Informatica、Kettle等ETL工具批量装入数据，数据装载性能随着节点和带宽增长而提升。

3.1.2流数据采集

DB civil采集数据可以使用流式方式，能够边采集数据边进行分析，降低数据延时，通过数据网关支持数据流接入，数据网关支持Kafka、RabbitMQ、Apache Nifi等实时数据源接入，为用户提供丰富的API支持。

3.1.3“流批”混合负载

DB Civil支持“流批混合负载”的方式进行数据采集，批量数据和流数据同时写入数据库，为用户提供实时交互查询分析服务。