国内最专业的IT技术学习网

UI设计

当前位置:主页 > UI设计 >

对比Flink与Storm性能,分布式实时计算框架该这样

发布时间:2019/06/27标签:   框架    点击量:

原标题:对比Flink与Storm性能,分布式实时计算框架该这样
1、配景Apache Flink 和 Apache Storm 是以后业界普遍应用的两个散布式及时盘算框架。此中 Apache Storm(以下简称“Storm”)在美团点评及时盘算营业中已有较为成熟的应用,有治理平台、罕用 API 和响应的文档,大批及时功课基于 Storm 构建。Apache Storm参考链接:http://storm.apache.org/而 Apache Flink(以下简称“Flink”)在近期倍受存眷,存在高吞吐、低耽误、高牢靠和准确盘算等特征,对变乱窗口有很好的支撑,现在在美团点评及时盘算营业中也已有必定利用。Apache Flink参考链接:https://flink.apache.org/为深刻熟习懂得 Flink 框架,考证其稳固性和牢靠性,评价实在时处置机能,辨认该系统中的毛病,找到其机能瓶颈并停止优化,给用户供给最合适的及时盘算引擎,咱们以实际教训丰盛的 Storm 框架作为对比,停止了一系列试验测试 Flink 框架的机能。盘算 Flink 作为确保“最少一次”和“刚好一次”语义的及时盘算框架时对资本的耗费,为及时盘算平台资本计划、框架抉择、机能调劣等决议及 Flink 平台的建立提出倡议并供给数据支撑,为后续的 SLA 建立供给必定参考。Flink 与 Storm 两个框架对照:

对比Flink与Storm性能,分布式实时计算框架该这样选
2、测试目的评价差别场景、差别数据压力下 Flink 和 Storm 两个及时盘算框架现在的机能表示,猎取其具体机能数据并找四处感性能的极限;懂得差别设置对 Flink 机能影响的水平,剖析种种设置的实用场景,从而得出调优倡议。1、测试场景1)“输出-输入”简略处置场景经过对“输出-输入”如许简略处置逻辑场景的测试,尽能够增加别的要素的烦扰,反应两个框架自身的机能。同时测算框架处置才能的极限,处置愈加庞杂的逻辑的机能不会比纯洁“输出-输入”更高。2)用户功课耗时较长的场景假如用户的处置逻辑较为庞杂,或是拜访了数据库等内部组件,其履行时光会增大,功课的机能会遭到影响。因而,咱们测试了用户功课耗时较长的场景下两个框架的调理机能。3)窗口统计场景及时盘算中常有对时光窗口或计数窗口停止统计的需要,比方一天中每五分钟的拜访量,每 100 个定单中有几多个应用了优惠等。Flink 在窗口支撑上的功效比 Storm 愈加强盛,API 愈加完美,然而咱们同时也想懂得在窗口统计这个罕用场景下两个框架的机能。4)准确盘算场景(即新闻送达语义为“刚好一次”)Storm 仅能保障“最多一次” (At Most Once) 和“最少一次” (At Least Once) 的新闻送达语义,便可能存在反复发送的情形。有许多营业场景对数据的准确性请求较高,盼望新闻送达不重不漏。Flink 支撑“刚好一次” (Exactly Once) 的语义,然而在限制的资本前提下,愈加严厉的准确度请求能够带来更高的价值,从而影响机能。因而,咱们测试了在差别新闻送达语义下两个框架的机能,盼望为准确盘算场景的资本计划供给数据参考。2、机能目标1)吞吐量(Throughput) 单元时光内由盘算框架胜利地传递数据的数目,本次测试吞吐量的单元为:条/秒。 反应了体系的负载才能,在响应的资本前提下,单元时光内体系能处置几多数据。 吞吐量罕用于资本计划,同时也用于帮助剖析体系机能瓶颈,从而停止响应的资本调剂以保障体系能到达用户所请求的处置才能。假定商家每小时能做二十份午饭(吞吐量 20 份/小时),一个外卖小哥每小时只能送两份(吞吐量 2 份/小时),这个体系的瓶颈就在小哥配送这个环节,能够给该商家部署十个外卖小哥配送。2)耽误(Latency) 数据从进入体系到流出体系所用的时光,本次测试耽误的单元为:毫秒。 反应了体系处置的及时性。 金融买卖剖析等大批及时盘算营业对耽误有较高请求,耽误越低,数据及时性越强。 假定商家做一份午饭须要 5 分钟,小哥配送须要 25 分钟,这个流程顶用户感触到了 30 分钟的耽误。假如调换配送计划后耽误酿成了 60 分钟,等送到了饭菜都凉了,这个新的计划就是无奈接收的。3、测试情况为 Storm 和 Flink 分辨搭建由 1 台主节点和 2 台从节点形成的 Standalone 集群停止本次测试。此中为了观看 Flink 在现实出产情况中的机能,关于局部测内容也停止了 on Yarn 情况的测试。1、集群参数

上一篇:区块链如何破坏通信行业

下一篇:没有了

返回
版权信息Copyright ? IT技术教程 版权所有??? ICP备案编号:鲁ICP备09013610号