apsara

Open source bigdata platform solutions

从零构建数据中台平台

引言

这两年，随着阿里数据中台理念深入人心，数据中台在企业数字化转型中的价值越来越凸显。

但是如何构建数据中台，却成为了企业数字化转型的拦路虎。目前可选的方案有两类：

• 各大云厂商私有化解决方案；
• SAAS化解决方案：可选的是各大云厂商（主要是阿里云、华为云、腾讯云等主流云厂商）的解决方案；
• 私有化部署：主要以阿里系创业公司为主，以阿里数据中台构建方法论（方法论) + 内部自己搭建的简化版数据中台平台（数据中台平台）为支撑，来输出数据中台整套理念和解决方案。

但是这块涉及几个问题：

• 各大云厂商私有化解决方案，成本太高，都在千万以上级别，不太适合中小型公司。
• SAAS化解决方案，会存在数据安全以及数据绑架稳定，这也是越来越多想要上云的企业犹豫的问题。
• 使用创业公司私有化解决方案涉及的问题：
  • 成本较高，都在百万级别以上。
  • 系统质量残次不齐，稳定性、易用性、安全性问题频现。
  • 不太好被集成。
  • 也涉及被绑架的风险。
  • 创业公司涉及破产或者其他的风险，风险依然比较高。

所以，比较低风险、低成本的还是自己从零构建数据中台平台，再借鉴阿里等大厂的数据中台方法论。以技术为支撑，以方法论为辅，让中小型公司或者传统企业数据中台探索成为可能。

目标

基于面临的这些问题，以及这些年在大厂大数据领域深耕的经验，发现基于开源社区的大量，集成已有的大数据各个组件，是能够低成本构建稳定、高可用、已有的数据中台平台。

后续会花主要时间和精力，和社区的朋友一起，致力于打造更好的数据中台平台，为数字化转型贡献力所能及的力量。

如下是数据中台平台系统图，后续会使用社区已有组件不断填充各个环节的内容：

期待更多有志向的人一起加入进来，有问题也请直接创建issue或者给个人发送邮件一起探讨，个人邮箱地址为[email protected]。