Storm-知识点汇总

Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。     Storm主要分为两种组件Nimbus和Supervisor。这两种组件都是快速失败的，没有状态。任务状态和心跳信息等都保存在Zookeeper上的，提交的代码资源都在本地机器的硬盘上。 Nimbus负责在集群里面发送代码，分配工作给机器，并且监控状态。全局只有一个。 Supervisor会监听分配给它那台机器的工作，根据需要启动/关闭工作进程Worker。每一个要运行Storm的机器上都要部署一个，并且，按照机器的配置设定上面分配的槽位数。 Zookeeper是Storm重点依赖的外部资源。Nimbus和Supervisor甚至实际运行的Worker都是把心跳保存在Zookeeper上的。Nimbus也是根据Zookeerper上的心跳和任务运行状况，进行调度和任务分配的。 Storm提交运行的程序称为Topology。 Topology处理的最小的消息单位是一个Tuple，也就是一个任意对象的数组。 Topology由Spout和Bolt构成。Spout是发出Tuple的结点。Bolt可以随意订阅某个Spout或者Bolt发出的Tuple。Spout和Bolt都统称为component。 下图是一个Topology设计的逻辑图的例子。 storm的每一个supervisor节点内部运行多个work进程，每个work进程内部有多个executor线程，每个线程内部还可以跑一个类的多个task实例 Storma集群的安装及配置 1、安装一个zookeeper集群 2、上传storm的安装包，解压(storm是clojur语言编写的 --->基于JVM的语言   scala也是基于JVM的语言) 3、修改配置文件/home/hadoop-node-01/apache-storm-0.9.2-incubating/conf/storm.yaml #所使用的zookeeper集群主机 storm.zookeeper.servers:     - "hadoop-01-server"     - "hadoop-02-server"     - "hadoop-03-server" #nimbus所在的主机名 nimbus.host: "hadoop-01-server" #此处配置的是supervisor节点上work进程的端口号，可配可不配，若不配则默认就是前4个端口 supervisor.slots.ports     -6701 -6702 -6703 -6704 -6705 -6706 4、将配置好的storm复制到其他两台机器上 scp /home/hadoop-node-01/apache-storm-0.9.2-incubating hadoop-02-server:/home/hadoop-node-01/ scp /home/hadoop-node-01/apache-storm-0.9.2-incubating hadoop-03-server:/home/hadoop-node-01/ storm的集群的启动（storm可以运行在yarn集群上，也可以单独运行。） 1.启动zookeeper storm是依赖于zookeeper，所以需要选启动zookeeper。 2.启动storm 在nimbus主机上 bin/storm nimbus 1>/dev/null 2>&1 & bin/storm ui 1>/dev/null 2>&1 & 在supervisor主机上 bin/storm supervisor 1>/dev/null 2>&1 & （1>/dev/null 2>&1 & 的意思是把该服务启动为后台进程） storm的深入学习： storm on  YARN  分布式共享锁的实现----zookeeper 事务topology的实现机制及开发模式（难度较大的一块） 在具体场景中的跟其他框架的整合（flume<数据收集>/activeMQ/kafka(分布式的消息队列系统)       /redis/hbase/mysql cluster）