收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于边界熵和卡方统计量的多领域适应性中文分词方法

韩冬煦  常宝宝  
【摘要】:字标注分词方法是当前中文分词领域中一种较为有效的分词方法。本文采用有指导的学习方法,基于CRF模型,提出使用边界熵和卡方统计量相结合的特征,进一步改善字标注分词方法的性能。同时,我们也就AV(AccessorVariety)统计量等当前普遍使用的特征进行了对比。从结果来看,边界熵和卡方统计量的引入,在跨领域适应性上,比其他特征有更好的表现。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 朱聪慧;赵铁军;郑德权;;基于无向图序列标注模型的中文分词词性标注一体化系统[J];电子与信息学报;2010年03期
2 熊桂喜;李政;;基于规则和语料库的中文姓名识别研究[J];计算机与信息技术;2007年12期
3 李跃民;王浩;赵生慧;;有词典中文分词算法研究[J];滁州学院学报;2008年03期
4 许高建;胡学钢;路遥;王庆人;;一种改进的中文分词歧义消除算法研究[J];合肥工业大学学报(自然科学版);2008年10期
5 黄德根;焦世斗;周惠巍;;基于子词的双层CRFs中文分词[J];计算机研究与发展;2010年05期
6 孙殿哲;魏海平;陈岩;;Nutch中庖丁解牛中文分词的实现与评测[J];计算机与现代化;2010年06期
7 杨文涛;司应硕;张森;;GA-BP神经网络算法在中文分词分析中的应用研究[J];河南机电高等专科学校学报;2010年04期
8 王坚,赵恒永;专业搜索引擎中文分词算法的实现与研究[J];福建电脑;2005年07期
9 许敏;周伟灿;;CAD电子图管理系统中全文检索的研究[J];微计算机信息;2006年19期
10 山岚;赵英;徐耀;王坚;张莹莹;;专业搜索引擎系统的设计与实现[J];微计算机信息;2007年06期
11 祁文青;;一种改进的中文分词算法[J];黄石理工学院学报;2007年04期
12 徐飞;孙劲光;;基于一种粗切分的最短路径中文分词研究[J];计算机与信息技术;2007年11期
13 张恒;杨文昭;屈景辉;卢虹冰;张亮;赵飞;;基于词典和词频的中文分词方法[J];微计算机信息;2008年03期
14 梁卓明;陈炬桦;;基于专有名词优先的快速中文分词[J];计算机技术与发展;2008年03期
15 沈勤中;周国栋;朱巧明;孔芳;丁金涛;;基于字位置概率特征的条件随机场中文分词方法[J];苏州大学学报(自然科学版);2008年03期
16 马志强;刘利民;苏依拉;马瑞明;;基于Lucene的站内搜索引擎研究[J];内蒙古工业大学学报(自然科学版);2009年01期
17 蓝永健;;基于Lucene的校园网垂直搜索引擎的设计与实现[J];广东教育学院学报;2009年03期
18 满鹏;;全文检索的原理与实现探讨[J];现代情报;2009年07期
19 熊泉浩;;中文分词现状及未来发展[J];科技广场;2009年11期
20 丁洁;;基于最大概率分词算法的中文分词方法研究[J];科技信息;2010年21期
中国重要会议论文全文数据库 前10条
1 韩冬煦;常宝宝;;基于边界熵和卡方统计量的多领域适应性中文分词方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
2 修驰;宋柔;;基于“大词”实例的中文分词研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
3 张梅山;邓知龙;车万翔;刘挺;;统计与词典相结合的领域自适应中文分词[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
4 王敏;叶宽余;薛峰;;一种面向网店商品搜索的中文分词系统设计[A];全国第22届计算机技术与应用学术会议(CACIS·2011)暨全国第3届安全关键技术与应用(SCA·2011)学术会议论文摘要集[C];2011年
5 彭辉;翟翔;;AutoCAD 2008自动翻译软件研发[A];全国冶金自动化信息网2010年年会论文集[C];2010年
6 王屹林;朱慕华;朱靖波;;针对SVM中文分词特性的个性化后处理设计[A];第三届学生计算语言学研讨会论文集[C];2006年
7 戴莉;周明全;武仲科;王永恒;王燕妮;周曼;;Lucene在智能答疑系统中的应用研究[A];图像图形技术与应用进展——第三届图像图形技术与应用学术会议论文集[C];2008年
8 刘东生;尹宝生;张桂平;徐立军;苗雪雷;;面向专利文献的中文分词技术的研究[A];第五届全国信息检索学术会议论文集[C];2009年
9 黄昌宁;赵海;;由字构词——中文分词新方法[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
10 李寿山;黄居仁;;基于词边界分类的中文分词方法[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
中国博士学位论文全文数据库 前10条
1 何嘉;基于遗传算法优化的中文分词研究[D];电子科技大学;2012年
2 孙越恒;基于统计的NLP技术在中文信息检索中的应用研究[D];天津大学;2005年
3 孙道军;文本挖掘预处理相关基础技术分析与应用研究[D];北京邮电大学;2008年
4 杨传耀;中文信息检索索引模型及相关技术研究[D];复旦大学;2007年
5 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年
6 任飞亮;高适应性基于实例的机器翻译中关键技术研究[D];东北大学;2008年
7 张京楣;基于统计方法的文本风格分析研究[D];山东大学;2012年
8 张友华;面向智能服务的Web内容计算研究与应用[D];中国科学技术大学;2006年
9 王君泽;基于大规模问答语料的问题检索系统[D];华中科技大学;2010年
10 陈劲光;基于云模型的中文面向查询多文档自动文摘研究[D];华中师范大学;2011年
中国硕士学位论文全文数据库 前10条
1 杨彦;基于Hash结构的机械统计分词系统[D];中南大学;2005年
2 李宏波;综合字典和统计分析的中文分词系统的研究与实现[D];武汉理工大学;2010年
3 马忠宝;基于支持向量机的中文文本分类系统研究[D];武汉理工大学;2006年
4 史立校;基于交叉验证模型选优方法的中文分词系统的设计与开发[D];山西大学;2012年
5 赵颖;基于文本类别的层次中文分词算法研究[D];广西大学;2012年
6 戚晶;基于RSS的搜索引擎的研究与实现[D];吉林大学;2006年
7 王圆;文本内容过滤的关键技术研究[D];东北师范大学;2006年
8 李东海;基于Nutch技术的主题搜索引擎实现[D];吉林大学;2008年
9 孟美华;桌面搜索引擎的设计与实现[D];大连理工大学;2009年
10 王荔;统计全切分中文分词系统的研究与实现[D];西安电子科技大学;2009年
中国重要报纸全文数据库 前6条
1 记者 吴苡婷;用技术挖出网络信息中“金子”[N];上海科技报;2009年
2 记者 侯梅竹;汉语语料检索系统问世[N];计算机世界;2004年
3 高雪娟;企业搜索要为决策服务[N];中国计算机报;2006年
4 中国科学院自动化研究所 徐波;回归到“通天塔”之前[N];计算机世界;2002年
5 ;我国首个基于搜索引擎的机器翻译系统问世[N];中国高新技术产业导报;2008年
6 冯沙;俄汉智能辅助翻译系统问世[N];科技日报;2002年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978