Solr动态加载分词器的自定义词库扩展词库解决方案

最近在做全文检索 在项目中有个需求是要动态的配置Solr的自定义扩展词库，在网上找了很多资料 发现关于这方面的知识比较少 千辛万苦终于找到了解决方案 在这里和大家分享一下

1.自行下载mmseg4j有关的Java包

# 适配SOLR6.2.1 mmseg4j-core-1.10.0.jar mmseg4j-solr-2.3.0.jar

2.将下载好的Jar包放入webapps/solr/WEB-INF/lib下

3.修改managed-schema配置,添加如下内容

<!-- 中文分词mmseg4j --> <fieldtype name="text_mmseg4j_simple" class="solr.TextField" positionIncrementGap="100"> <analyzer> <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="自定义词库路径" /> <!-- 停止词过滤器 --> <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" /> <filter class="solr.LowerCaseFilterFactory"/> </analyzer> </fieldtype> <fieldtype name="text_mmseg4j_complex" class="solr.TextField" positionIncrementGap="100"> <analyzer> <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="自定义词库路径" /> <!-- 停止词过滤器 --> <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" /> <filter class="solr.LowerCaseFilterFactory"/> </analyzer> </fieldtype> <fieldtype name="text_mmseg4j_maxWord" class="solr.TextField" positionIncrementGap="100"> <analyzer> <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="自定义词库路径" /> <!-- 停止词过滤器 --> <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" /> <filter class="solr.LowerCaseFilterFactory"/> </analyzer> </fieldtype>

4.修改solrconfig.xml配置,添加如下内容

<requestHandler name="/mmseg4j/reloadwords" class="com.chenlb.mmseg4j.solr.MMseg4jHandler"> <lst name="defaults"> <str name="dicPath">自定义词库路径</str> <str name="check">true</str> <str name="reload">true</str> </lst> </requestHandler>

5.在自定义词库目录下放入词库 5.1: 在mmseg4j-core-1.10.0.jar中找到chars.dic, units.dic, words,dic放入自定义词库目录下 这三个都是官方词库,你可以更改以便覆盖官方配置, 也可以不更改.

5.2: 自定义词库可识别到文件名为words开头, .dic为文件结尾的UTF-8格式的文件.如在自定义词词库下创建words-my.dic。如果是带BOM的UTF8文件, 第一行为空即可. 每行一个词.

6.重新加载自定义词库 单机版访问http://localhost:8983/solr/CORE名称/mmseg4j/reloadwords 进行动态加载自定义词库

SolrCloud如果涉及到多个节点,则每个节点都要执行以下访问方可使所有节点都生效

http://节点1:8983/solr/CORE名称/mmseg4j/reloadwords

http://节点2:8983/solr/CORE名称/mmseg4j/reloadwords

http://节点3:8983/solr/CORE名称/mmseg4j/reloadwords

7.返回结果如下

<?xml version="1.0" encoding="UTF-8"?> <response> <lst name="responseHeader"> <int name="status">0</int> <int name="QTime">1</int> </lst> <lst name="result"> <str name="dicPath">java.net.URI:file:自定义词库路径</str> <bool name="changed">false</bool> </lst> </response>