1、 修改字典格式,提高字典加载速度
2、 增加对英文专业名词的支持 如C++,C#等只要加入字典就可以被分出来
3、 增加词频判断功能,在无法取舍时根据词频取舍
4、 增加优先优先词频选项,通过这个选项动态决定分词粒度 需打开 FreqFirst
5、 增加中文人名前后缀统计和根据该统计定位人名的功能
6、 增加中文人名和未登录词出现频率统计功能
7、 增加自动更新字典功能,对超过阈值的人名和未登录词自动插入字典 需打开 AutoInsertUnknownWords 开关 并设置 UnknownWordsThreshold,(不推荐自动插入,推荐手工插入)
8、 增加定期保存字典和统计结果功能 需设置 AutoSaveInterval
9、 增加KTDictSeg.xml配置文件来配置分词参数
10、增加对Lucene.net 的支持,提供 KTDictSegAnalyzer 分析器给Lucene.net
11、增加字典管理功能,可以添加删除修改字典
12、字典管理中提供从未登录词中批量插入字典功能,可帮助使用者手工选择合适的未登录词插入字典(推荐)
13、提供一个新闻搜索的简单例子,采用Lucene.net+KTDictSegAnalyzer+KTDictSeg,项目名为Demo.KTDictSegAnalyzer
14、将所有ArrayList 改为List<>
字典管理工具 DictManage.exe
界面:
新闻搜索例子 Demo.KTDictSegAnalyzer.exe
界面