数据对接方案

目录

  • 基本信息
    • 网络拓扑
    • 两种模式简介
  • 1 抽取模式的三种具体方案
    • 1.1 抽取模式——WebService接口
    • 1.2 抽取模式——直连数据库备库的方式
    • 1.3 抽取模式——文件同步
  • 2 供数模式的四种具体方案
    • 2.1 供数模式——API接口
    • 2.2 供数模式——数据库同步
    • 2.3 供数模式——(压缩)文件同步
    • 2.4 供数模式——实时同步

基本信息

网络拓扑

需要交换机、防火墙确保网络安全;
前置机原则上需要在网络边界处放置一台(专网可以不需要前置机),可用于大数据量做缓冲,也可用于进行网络安全隔离

两种模式简介

1 抽取模式(从业务方拉):

  • 优点:技术实现简单 / 成本低,无需额外费用;
  • 缺点:对源系统容易造成性能问题 / 源系统数据结构发生变化容易出错同步失败 / 源系统对数据质量不负责

2 供数模式(由业务方推):

  • 优点:对源系统无侵入 / 数据质量可以推给业务端;
  • 缺点:需要额外第三方接口费 / 对接技术实现上相对复杂

1 抽取模式的三种具体方案

1.1 抽取模式——WebService接口

业务系统——接口 <- 接入节点——大数据平台

  • 优点:数据接入时间点和速度可控 / 业务端可控制数据范围和数据加密;
  • 缺点:批量走接口可能导致业务系统不稳定;
  • 适用场景:小批量结构化数据;
  • 不适用场景:大批量非结构化数据 / 实时数据同步

1.2 抽取模式——直连数据库备库的方式

业务系统——数据库备库 <- 接入节点——大数据平台

  • 优点:业务系统提供备库,对业务无影响;
  • 缺点:部分场景下业务没有备库 / 数据加密由平台侧保障;
  • 适用场景:小批量结构化数据;
  • 不适用场景:大批量非结构化数据 / 实时数据同步

1.3 抽取模式——文件同步

业务系统——文件地址 <- 接入节点——大数据平台

  • 优点:业务系统无感知;
  • 缺点:批量拉对网络波动影响;
  • 适用场景:非结构化数据

2 供数模式的四种具体方案

2.1 供数模式——API接口

业务系统——接口 -> 接入节点——大数据平台

  • 优点:业务系统无感知少风险;
  • 缺点:对平台侧接口性能要求较高 / 需要支付接口开发费用;
  • 适用场景:小批量结构化数据 / 实时数据同步;
  • 不适用场景:大批量非结构化数据

2.2 供数模式——数据库同步

业务系统——数据库主库 -> 数据库备库——接入节点——大数据平台

  • 优点:业务系统无感知;
  • 缺点:需要额外接口费;
  • 适用场景:小批量结构化数据 / 实时数据同步;
  • 不适用场景:大批量非结构化数据

2.3 供数模式——(压缩)文件同步

业务系统 -> FTP服务器——接入节点——大数据平台

  • 优点:业务系统无感知;
  • 缺点:需要额外接口费;
  • 适用场景:非实时数据同步;
  • 不适用场景:实时数据同步

2.4 供数模式——实时同步

业务系统 -> 消息队列(kafka)——接入节点——大数据平台

  • 优点:实时处理数据;
  • 缺点:需要额外接口费;
  • 适用场景:实时数据同步;
  • 不适用场景:非结构化数据

你可能感兴趣的