【数据资讯】Flink和Beam诞生

2016-05-05 10:42:59 xiaoyi 6

Spark基本上已经取代了Hadoop的批处理引擎MapReduce,更别说Spark的SQL、机器学习和流处理能力。但永不满足的大数据界希望改进这套得到Databricks公司支持、用Scala语言编写的多用途框架。于是Apache Flink和Apache Beam应运而生,成为了Spark在大数据框架之战中的劲敌。

  2016年3月,Cloudera公司的卡丁向Data Artisans公司的Flink项目表达了敬意。当时他说:“Flink在架构设计上可能要比Spark好上那么一点点。”与此同时,基于谷歌Cloud Dataflow API的Apache Beam受到了Talend公司一位法国大数据架构师的支持。Beam雄心勃勃,想要用同一组API统一所有的大数据应用开发,并通过“Runner”这种执行引擎支持Spark、Flink和Google Dataflow。