storm分布式实时计算框架搭建

    xiaoxiao2021-03-25  64

    在storm集群中,有两类节点,主节点和工作节点,主节点运行着一个叫做Nimbus的守护进程,这个守护进程负责在集群中的分发代码,为工作节点分配任务,并监控故障。工作节点运行着叫supervisor的守护进程,一个storm拓扑结构在不同的机器上运行着众多的工作节点;

    1.安装前必须确保已经安装了zookeeper集群

    2.解压安装包

    tar -zxvf apache-storm-0.9.2.tar.gz -C ~/app/

    3.修改/home/hadoop/app/apache-storm-0.9.2/conf/storm.yaml配置文件

    #修改配置项,配置所安装的zookeeper的主机

    storm.zookeeper.servers:

    - "hadoop05"

    - "hadoop06"

    - "hadoop07"

    #nimbus所在的主机名,hbase的主节点

    nimbus.host:"hadoop05"

    supervisor.slots.ports

    -6701

    -6702

    -6703

    -6704

    -6705

    4.启动storm

    #在nimbus主机上

    bin/storm numbus 1>/dev/null 2>&1 &

    #启动UI,可以用于在web页面查询信息http://hadoop05:8080/index.html

    bin/storm ui 1>/dev/null 2>&1 &

    #supervisor主机上启动

    bin/storm supervisor 1>/dev/null 2>&1 &

    5.提交topology

    命令格式:storm jar [jar路径] [topology包名.topology类名] [storm地址] [storm端口号]

    eg:storm jar /home/hadoop/storm.jar com.soft.storm.TopoMain

    storm list #查看当前运行的topology

    storm kill topology的名称 #停止topology

    转载请注明原文地址: https://ju.6miu.com/read-33501.html

    最新回复(0)