博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据技术(1)流式计算与Storm
阅读量:5357 次
发布时间:2019-06-15

本文共 1007 字,大约阅读时间需要 3 分钟。

2011年在海量数据处理领域,Hadoop是人们津津乐道的技术,Hadoop不仅可以用来存储海量数据,还以用来计算海量数据。因为其高吞吐、高可靠等特点,很多互联网公司都已经使用Hadoop来构建数据仓库,高频使用并促进了Hadoop生态圈的各项技术的发展。一般来讲,根据业务需求,数据的处理可以分为离线处理和实时处理,在离线处理方面Hadoop提供了很好的解决方案,但是针对海量数据的实时处理却一直没有比较好的解决方案。

就在人们翘首以待的时间节点,storm横空出世,与生俱来的分布式、高可靠、高吞吐的特性,横扫市面上的一些流式计算框架,渐渐的成为了流式计算的首选框架。

如果庞麦郎在的话,他一定会说,这就是我要的滑板鞋!

在2013年,阿里巴巴开源了基于storm的设计思路使用java重现编写的流式计算框架jstorm。那jstorm是什么呢?

在jstorm早期的介绍中,一般会出现下面的语句:JStorm 比Storm更稳定,更强大,更快,Storm上跑的程序,一行代码不变可以运行在JStorm上。

在最新的介绍中,jstorm的团队是这样介绍的:JStorm 是一个类似Hadoop MapReduce的系统, 用户按照指定的接口实现一个任务,然后将这个任务递交给JStorm系统,Jstorm将这个任务跑起来,并且按7 * 24小时运行起来,一旦中间一个Worker 发生意外故障, 调度器立即分配一个新的Worker替换这个失效的Worker。

因此,从应用的角度,JStorm 应用是一种遵守某种编程规范的分布式应用。

从系统角度, JStorm一套类似MapReduce的调度系统。 从数据的角度, 是一套基于流水线的消息处理机制。实时计算现在是大数据领域中最火爆的一个方向,因为人们对数据的要求越来越高,实时性要求也越来越快,传统的Hadoop MapReduce,逐渐满足不了需求,因此在这个领域需求不断。现在,Jstom在淘宝海量的数据和大量的业务场景的锤炼下,从开始的追随者,使用者慢慢的演变成了流式计算技术的领导者。当下,还有很多企业并不知道jstorm,他们的生产环境依然是storm,并且storm也在不断更新,在笔者成文的时间点上,storm发布了1.0的beta版。

转载于:https://www.cnblogs.com/maoxiangyi/p/6729155.html

你可能感兴趣的文章
大型站点技术架构(二)--架构模式
查看>>
BDB (Berkeley DB)数据库简单介绍(转载)
查看>>
zoj - 3209 - Treasure Map(精确覆盖DLX)
查看>>
Linux pipe函数
查看>>
python day03
查看>>
MVC View基础
查看>>
EasyUI Datagrid 单元格编辑
查看>>
Python知识
查看>>
ArcIMS 9.2 ADF-ZoomtoQueryFeature
查看>>
第15届创新英语大赛范文
查看>>
60.(递推练习)黑白棋子
查看>>
input不可编辑
查看>>
hashlib ,configparser , logging 模块
查看>>
使用win32ole进行页面加载和跳转
查看>>
根据Unix哲学来编写你的HTML5 Websocket服务器来实现全双工通信
查看>>
用UItraISO做U盘的启动盘(图文教程)
查看>>
BZOJ2933:POI1999地图
查看>>
MYSQL -NOSQL -handlersocket
查看>>
【javascript】私有化变量
查看>>
cf 1141g Privatization of Roads in Treeland
查看>>