一、扩展停用词字典

IK Analyzer默认的停用词词典为IKAnalyzer2012_u6/stopword.dic,这个停用词词典并不完整，只有30多个英文停用词。可以扩展停用词字典，新增ext_stopword.dic，文件和IKAnalyzer.cfg.xml在同一目录，编辑IKAnalyzer.cfg.xml把新增的停用词字典写入配置文件，多个停用词字典用逗号隔开，如下所示。

<entry key="ext_stopwords">stopword.dic;ext_stopword.dic</entry>

二、扩展自定义词库

IK Analyzer也支持自定义词典，在IKAnalyzer.cfg.xml同一目录新建ext.dic，把新的词语按行写入文件，编辑IKAnalyzer.cfg.xml把新增的停用词字典写入配置文件，多个字典用空格隔开，如下所示:

<entry key="ext_dict">ext.dic;</entry> 比如，对于网络流行语“厉害了我的哥”，默认的词库中没有这个词，在自定义字典中写入以后才能分成一个词。

三、测试自定义词典效果

import java.io.IOException; import java.io.StringReader; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.tokenattributes.CharTermAttribute; import tup.lucene.ik.IKAnalyzer6x; public class ExtDicTest { private static String str = "厉害了我的哥!中国环保部门发布了治理北京雾霾的的方法!"; public static void main(String[] args) throws IOException { Analyzer analyzer = new IKAnalyzer6x(true); StringReader reader = new StringReader(str); TokenStream toStream = analyzer.tokenStream(str, reader); toStream.reset(); CharTermAttribute teAttribute= toStream.getAttribute(CharTermAttribut e.class); System.out.println("分词结果:"); while (toStream.incrementToken()) { System.out.print(teAttribute.toString() + "|"); } System.out.println("\n"); analyzer.close(); } }

运行结果:

加载扩展词典：ext.dic 加载扩展停止词典：stopword.dic 分词结果: 厉|害了|的哥|中国|环保部门|发布|治理|北京|雾|霾|方法|

在ext.dic中添加自定义词项：

中国环保部门 北京雾霾 厉害了我的哥

再次运行，结果如下:

加载扩展词典：ext.dic 加载扩展停止词典：stopword.dic 分词结果: 厉害了我的哥|中国环保部门|发布|治理|北京雾霾|方法|