Linux系列之solr集群版环境搭建(六)

    xiaoxiao2025-05-30  20

    SolrCloud简介

        SolrCloud是solr提供的分布式搜索方案,当需要大规模容错、分布式索引和检索能力时使用。当一个系统的索引数量少时,不需要使用SolrCloud;当索引量很大,搜索请求并发很高时,需要使用SolrCloud。

       SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心。

    它有几个特色功能:

    1) 集中式的配置信息

    2) 自动容错

    3) 近实时搜索

    4) 查询时自动负载均衡

    Zookeeper简介

        顾名思义zookeeper就是动物园管理员,他是用来管理hadoop(大象)、Hive(蜜蜂)、pig(小猪)的管理员,Apache Hbase和Apache Solr的分布式集群都用到了zookeeper。Zookeeper是一个分布式的、开源的程序协调服务,是hadoop项目下的一个子项目。

       zookeeper:集群管理工具,集群入口。

    集群管理

    主从的管理、负载均衡、高可用的管理。集群的入口。Zookeeper必须是集群才能保证高可用。Zookeeper有选举和投票的机制。集群中至少应该有三个节点。

    配置文件的集中管理

    搭建solr集群时,需要把Solr的配置文件上传zookeeper,让zookeeper统一管理。每个节点都到zookeeper上取配置文件。

    分布式锁

    SolrCloud结构

       SolrCloud为了降低单击的处理压力,需要由多态服务器共同来完成索引的搜索任务。实现的思路是将索引数据进行Shard(分片)拆分,每个分片由多态服务器共同完成,当一个索引或搜索请求过来时,会分别从不同的shard的服务器中操作索引。

       SolrCloud需要Solr基于Zookeeper部署,Zookeeper是一个集群管理软件,由于SolrCloud需要由多台服务器组成,由zookeeper来进行协调管理。

    搭建步骤

    Zookeeper集群搭建

    第一步:需要把zookeeper-3.4.6.tar.gz的安装包上传到服务器。

    第二步:把zookeeper解压:tar –zxvfzookeeper-3.4.6.tar.gz

    第三步:把zookeeper向/usr/local/solr-cloud目录下复制三份。

    第三步:配置zookeeper。

       1.在zookeeper01目录下创建一个data文件夹。

       2.在data目录下创建一个myid的文件

       3.myid的内容为1(02对应“2”,03对应“3”)

       在data文件夹下建立一个myid文件,并在myid文件中,写入内容1

       4.zookeeper0203以此类推。

       5.进入conf文件,把zoo_sample.cfg文件改名为zoo.cfg;或者复制zoo_sample.cfg一份,并命名为zoo.cfg

     

       6.修改zoo.cfg,把dataDir=属性指定为刚创建的data文件夹。

      (本demo路径:/usr/local/solr-cloud/zookeeper01/data/)

       7.修改zoo.cfg,把clientPort指定为不冲突的端口号(01:2181、02:2182、03:2183)

      (2181:这个端口是客户端连接端口

       8.在zoo.cfg中添加如下内容:

       server.1=192.168.33.10:2881:3881

       server.2=192.168.33.10:2882:3882

       server.3=192.168.33.10:2883:3883

       (这个端口是服务器连接端口,不能重复)

    第四步:启动zookeeper。

    Zookeeper的目录下有一个bin目录。使用zkServer.sh启动zookeeper服务。

    启动命令:./zkServer.sh start

    另一种启动zookeeper的方式:./zkServer.sh start-foreground    //这种启动方式,能够查看zookeeper的日志

    关闭命令:./zkServer.sh stop

    查看服务状态:./zkServer.sh status

     

    Solr集群搭建

    第一步:安装四个tomcat,修改其端口号不能冲突。8080~8083

    端口号分别修改为:8005-8006-8007-8008

                      8080-8081-8082-8083

                      8009-8010-8011-8012

    第二步:向tomcat下部署solr。把单机版的solr工程复制到tomcat下即可。

       (将单机版的solr/tomcat/webapps下的solr复制到solr-cloud/tomcat01/webapps/下面)

    第三步:为每个solr实例创建一solrhome。

       将单机版的solr/下的solrhome复制到solr-cloud/目录下,分别命名为solrhome01-solrhome04

    第四步:为每个solr实例关联对应的solrhome。修改web.xml(为tomcat关联solrhome)

       修改solr-cloud/tomcat01/webapps/solr/WEB-INF/web.xml文件

    第五步:修改每个solrhome下的solr.xml文件。修改host、hostPort两个属性。分别是对应的ip及端口号。

        host:当前实例运行的ip地址

        port:当前实例运行的端口号,是当前tomcat的端口号

    第六步:把配置文件上传到zookeeper。需要使用

    /root/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh命令上传配置文件。

    /usr/local/solr-cloud/solrhome01/collection1/conf目录上传到zookeeper。

    需要zookeeper集群已经启动。

       (上传任意一个)

    ./zkcli.sh -zkhost 192.168.33.10:2181,192.168.33.10:2182,192.168.33.10:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf

    第七步:查看是否上传成功。

    使用zookeeper的zkcli.sh命令。

        zkcli.sh存在位置:/usr/local/solr-cloud/zookeeper01/bin

    (注:zookeeper只要连接上任意节点,就行了)

    第八步:告诉solr实例zookeeper的位置。需要修改tomcat的catalina.sh添加    (tomcat/bin/catalina.sh)

    JAVA_OPTS="-DzkHost=192.168.33.10:2181,192.168.33.10:2182,192.168.33.10:2183"

       在使用JAVA_OPTS之前添加这句话:

       每个节点都需要添加。

    第九步:启动每个solr实例。

       使用脚本,启动所有solr实例

    vi start-all.sh

    查看启动日志 :tail -f tomcat01/logs/catalina.out

    查看solrCloud搭建是否成功,使用浏览器查看solr,点击Cloud可以看到solr集群

    第十步:集群分片。

    将集群分为两片,每片两个副本。(numShards:分成两片;replicationFactor:两个副本

    在浏览器中运行下面的链接:

    http://192.168.33.10:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

     看到success,就说明成功了。

    拆分结果:

    第十一步:删除不用collection1

    在浏览器中打开下面的链接:

    http://192.168.33.10:8080/solr/admin/collections?action=DELETE&name=collection1

       看到success,就说明成功了。

    删除之后的效果:

    问题解决

    问题一:查看zookeeper服务状态时,报错:Error contacting service. It is probably not running.

       启动没有问题,但是查看solr集群状态时,总是报错。solr明明显示已经起来了,但是查看solr状态时,却提示没有启动:

    原因:因为zookeeper集群,配置的数量若为3,则至少启动两个才能正常使用,所以,当你启动了两个zookeeper之后,再回来查看刚刚的zookeeper状态,发现已经启动了。

    解决办法:启动的zookeeper数目一定要是配置zookeeper数目的一半以上,zookeeper才能正常启动。

    问题二:用日志方式启动zookeeper时,报错:

    Unexpected exception, exiting abnormally

    java.net.BindException: Address already in use

    原因:端口被占用

    解决方法:1、如果使用ps aux|grep 2181,查看不到端口被占用。

              2、使用lsof -i:2181命令查看端口占用情况

              3、若执行lsof -i:2181命令提示:-bash: lsof: command not found 

              4、执行yum install lsof命令

              5、再查看端口占用情况,停调被占用的端口,即可。

    问题三:启动solr集群后,浏览器打开solr链接,报错:

    原因:正如问题一一样,显示zookeeper已经启动成功了,但实际,没有真正启动成功。

    解决办法:重新启动

    转载请注明原文地址: https://ju.6miu.com/read-1299421.html
    最新回复(0)