金融业务中推数和拉数的场景很多,尤其是跨业务,跨平台等情况,请教一下要如何设计一个数据中转平台,既能保证数据传输的效率,又要保证中转平台的健壮性?如果选用ftp集群,采用什么样的存储架构更优? 是NAS 还是 主机集群?或者其他架构?
用大 数据 平台自带的 数据 采集组件Flume、Kafka、Sqoop, 同时结合第三方采集工具,如CDC、OGG、FTP,兼容各种 数据 源,包括流式 数据 (业务消息流/日志消息流等),磁盘 文件 ,各种数据库等 。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30