收藏本站
《中国计算语言学研究前沿进展(2009-2011)》2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于“大词”实例的中文分词研究

修驰  宋柔  
【摘要】:近几年的中文分词研究中,基于条件随机场(CRF)模型的中文分词方法得到了广泛的关注。但是这种分词方法在处理歧义切分方面存在一定的问题。CRF虽然可以消除大部分原有的分词歧义,却会带来更多新的错误切分。本文尝试找到一种简单的、基于"大词"实例的机器学习方法解决分词歧义问题。实验结果表明,该方法可以简单有效的解决原有的分词歧义问题,并且不会产生更多新的歧义切分。

【参考文献】
中国期刊全文数据库 前4条
1 罗智勇;宋柔;;现代汉语通用分词系统中歧义切分的实用技术[J];计算机研究与发展;2006年06期
2 吴春颖;王士同;;基于二元语法的N-最大概率中文粗分模型[J];计算机应用;2007年12期
3 骆正清,陈增武,胡上序;一种改进的MM分词方法的算法设计[J];中文信息学报;1996年03期
4 黄昌宁;赵海;;中文分词十年回顾[J];中文信息学报;2007年03期
【共引文献】
中国期刊全文数据库 前10条
1 于江德;王希杰;;词位标注汉语分词技术详解[J];安阳师范学院学报;2010年05期
2 杨尔弘;;媒体5年词语使用情况调查分析[J];北华大学学报(社会科学版);2011年04期
3 刘文华;康海燕;;领域问答系统生成器的研究[J];北京信息科技大学学报(自然科学版);2009年03期
4 田占霄;韩宪忠;王克俭;;一种改进的长词优先逆向最大匹配分词消歧策略[J];河北农业大学学报;2009年04期
5 李跃民;王浩;赵生慧;;有词典中文分词算法研究[J];滁州学院学报;2008年03期
6 朱维彬;;语音合成中的语言学计算模型:现状及展望[J];当代语言学;2009年02期
7 吴佩韦;李昌华;;一种基于Lucene的搜索推荐词生成方法[J];电脑知识与技术;2009年10期
8 周健欣;张启蕊;;医药文献中文分词研究[J];电脑知识与技术;2012年17期
9 明小娜;龙毅;钱程扬;张翎;;基于受限自然语言的GIS命令解析方法[J];地球信息科学学报;2009年02期
10 朱聪慧;赵铁军;郑德权;;基于无向图序列标注模型的中文分词词性标注一体化系统[J];电子与信息学报;2010年03期
中国重要会议论文全文数据库 前10条
1 梁莹;肖健;李玥;;多引擎印刷体汉字识别系统研发[A];广西计算机学会25周年纪念会暨2011年学术年会论文集[C];2011年
2 李金;宋阳;梁洪;;语言残障患者医疗辅助系统设计[A];第九届全国信息获取与处理学术会议论文集Ⅱ[C];2011年
3 于江德;王希杰;樊孝忠;;汉语词法分析中上文和下文孰重孰轻[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
4 韩冬煦;常宝宝;;基于边界熵和卡方统计量的多领域适应性中文分词方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
5 李玉梅;靳光瑾;黄昌宁;;中文分词规范中的歧义字段消解细则[A];第五届全国语言文字应用学术研讨会论文集[C];2007年
6 郑亚斌;曹嘉伟;刘知远;;基于最大匹配和马尔科夫模型的对联系统[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年
7 李寿山;黄居仁;;基于词边界分类的中文分词方法[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
8 李月伦;常宝宝;;基于最大间隔马尔可夫网模型的汉语分词方法[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
9 丁大斌;黄昌宁;;汉语同音词调查及拼音输入法基线模型研究[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
10 刘东生;尹宝生;张桂平;徐立军;苗雪雷;;面向专利文献的中文分词技术的研究[A];第五届全国信息检索学术会议论文集[C];2009年
中国博士学位论文全文数据库 前10条
1 荆涛;面向领域网页的语义标注若干问题研究[D];吉林大学;2011年
2 张海军;基于大规模语料的中文新词识别技术研究[D];中国科学技术大学;2011年
3 屠晓;英文地址图像识别与翻译研究[D];华东师范大学;2011年
4 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
5 王兰成;基于XMARC信息描述的知识标引与概念检索研究[D];东华大学;2004年
6 孙越恒;基于统计的NLP技术在中文信息检索中的应用研究[D];天津大学;2005年
7 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年
8 车海燕;面向中文自然语言Web文档的自动知识抽取和知识融合[D];吉林大学;2008年
9 张格伟;基于工艺知识网格的可重构CAPP系统关键技术研究[D];南京航空航天大学;2008年
10 胡东滨;决策问题管理系统及其开发组件研究[D];中南大学;2008年
中国硕士学位论文全文数据库 前10条
1 罗义兵;领域文本相似度计算方法研究[D];山东科技大学;2010年
2 冯海瑛;《万历野获编》分词理论与实践[D];广西师范学院;2010年
3 张燕丽;基于Winnow算法和CAPTCHA的垃圾短信过滤研究[D];郑州大学;2010年
4 刘金宁;词性标注体系对中文分词的影响[D];大连理工大学;2010年
5 冯晶晶;面向软件测试领域的自动问答系统[D];河南理工大学;2010年
6 李丹;基于规则与统计的汉语自动分词研究[D];长春工业大学;2010年
7 苏保君;在线组合分类器应用于大规模垃圾邮件过滤的研究[D];浙江大学;2010年
8 蔡蕊;一种新的搜索引擎分词词典的研究[D];山东大学;2010年
9 马静;基于web的数字化资源全文检索系统的设计与实现[D];西安电子科技大学;2010年
10 刘照然;远程教育中智能答疑系统的研究与实现[D];西安电子科技大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 梁南元;书面汉语的自动分词与一个自动分词系统—CDWS[J];北京航空学院学报;1984年04期
2 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
3 吴应良,韦岗,李海洲;一种基于N-gram模型和机器学习的汉语分词算法[J];电子与信息学报;2001年11期
4 张国煊,王小华,周必水;快速书面汉语自动分词系统及其算法设计[J];计算机研究与发展;1993年01期
5 刘群,张华平,俞鸿魁,程学旗;基于层叠隐马模型的汉语词法分析[J];计算机研究与发展;2004年08期
6 王峰;游志胜;曼丽春;高燕;汤丽萍;;Dijkstra及基于Dijkstra的前N条最短路径算法在智能交通系统中的应用[J];计算机应用研究;2006年09期
7 关英春 ,秦蓓;汉语文字自动统计系统CWSS[J];中文信息学报;1986年01期
8 揭春雨 ,刘源 ,梁南元;论汉语自动分词方法[J];中文信息学报;1989年01期
9 姚天顺,张桂平,吴映明;基于规则的汉语自动分词系统[J];中文信息学报;1990年01期
10 梁南元;汉语计算机自动分词知识[J];中文信息学报;1990年02期
中国硕士学位论文全文数据库 前1条
1 娄(王廷);现代汉语分词系统通用性设计及切分歧义处理[D];北京工业大学;2000年
【相似文献】
中国期刊全文数据库 前10条
1 徐飞;孙劲光;;基于一种粗切分的最短路径中文分词研究[J];计算机与信息技术;2007年11期
2 熊泉浩;;中文分词现状及未来发展[J];科技广场;2009年11期
3 徐飞;孙劲光;;中文分词切分技术研究[J];计算机工程与科学;2008年05期
4 朱聪慧;赵铁军;郑德权;;基于无向图序列标注模型的中文分词词性标注一体化系统[J];电子与信息学报;2010年03期
5 熊桂喜;李政;;基于规则和语料库的中文姓名识别研究[J];计算机与信息技术;2007年12期
6 李跃民;王浩;赵生慧;;有词典中文分词算法研究[J];滁州学院学报;2008年03期
7 许高建;胡学钢;路遥;王庆人;;一种改进的中文分词歧义消除算法研究[J];合肥工业大学学报(自然科学版);2008年10期
8 黄德根;焦世斗;周惠巍;;基于子词的双层CRFs中文分词[J];计算机研究与发展;2010年05期
9 孙殿哲;魏海平;陈岩;;Nutch中庖丁解牛中文分词的实现与评测[J];计算机与现代化;2010年06期
10 杨文涛;司应硕;张森;;GA-BP神经网络算法在中文分词分析中的应用研究[J];河南机电高等专科学校学报;2010年04期
中国重要会议论文全文数据库 前10条
1 修驰;宋柔;;基于“大词”实例的中文分词研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
2 张梅山;邓知龙;车万翔;刘挺;;统计与词典相结合的领域自适应中文分词[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
3 韩冬煦;常宝宝;;基于边界熵和卡方统计量的多领域适应性中文分词方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
4 王敏;叶宽余;薛峰;;一种面向网店商品搜索的中文分词系统设计[A];全国第22届计算机技术与应用学术会议(CACIS·2011)暨全国第3届安全关键技术与应用(SCA·2011)学术会议论文摘要集[C];2011年
5 彭辉;翟翔;;AutoCAD 2008自动翻译软件研发[A];全国冶金自动化信息网2010年年会论文集[C];2010年
6 王屹林;朱慕华;朱靖波;;针对SVM中文分词特性的个性化后处理设计[A];第三届学生计算语言学研讨会论文集[C];2006年
7 戴莉;周明全;武仲科;王永恒;王燕妮;周曼;;Lucene在智能答疑系统中的应用研究[A];图像图形技术与应用进展——第三届图像图形技术与应用学术会议论文集[C];2008年
8 刘东生;尹宝生;张桂平;徐立军;苗雪雷;;面向专利文献的中文分词技术的研究[A];第五届全国信息检索学术会议论文集[C];2009年
9 黄昌宁;赵海;;由字构词——中文分词新方法[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
10 李寿山;黄居仁;;基于词边界分类的中文分词方法[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
中国重要报纸全文数据库 前6条
1 记者 吴苡婷;用技术挖出网络信息中“金子”[N];上海科技报;2009年
2 记者 侯梅竹;汉语语料检索系统问世[N];计算机世界;2004年
3 高雪娟;企业搜索要为决策服务[N];中国计算机报;2006年
4 中国科学院自动化研究所 徐波;回归到“通天塔”之前[N];计算机世界;2002年
5 ;我国首个基于搜索引擎的机器翻译系统问世[N];中国高新技术产业导报;2008年
6 冯沙;俄汉智能辅助翻译系统问世[N];科技日报;2002年
中国博士学位论文全文数据库 前10条
1 何嘉;基于遗传算法优化的中文分词研究[D];电子科技大学;2012年
2 孙越恒;基于统计的NLP技术在中文信息检索中的应用研究[D];天津大学;2005年
3 孙道军;文本挖掘预处理相关基础技术分析与应用研究[D];北京邮电大学;2008年
4 杨传耀;中文信息检索索引模型及相关技术研究[D];复旦大学;2007年
5 任飞亮;高适应性基于实例的机器翻译中关键技术研究[D];东北大学;2008年
6 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年
7 张京楣;基于统计方法的文本风格分析研究[D];山东大学;2012年
8 张友华;面向智能服务的Web内容计算研究与应用[D];中国科学技术大学;2006年
9 王君泽;基于大规模问答语料的问题检索系统[D];华中科技大学;2010年
10 陈劲光;基于云模型的中文面向查询多文档自动文摘研究[D];华中师范大学;2011年
中国硕士学位论文全文数据库 前10条
1 杨彦;基于Hash结构的机械统计分词系统[D];中南大学;2005年
2 张淑梅;词典与后缀数组相结合的中文分词[D];吉林大学;2006年
3 李宏波;综合字典和统计分析的中文分词系统的研究与实现[D];武汉理工大学;2010年
4 何爱元;基于词典和概率统计的中文分词算法研究[D];辽宁大学;2011年
5 马忠宝;基于支持向量机的中文文本分类系统研究[D];武汉理工大学;2006年
6 史立校;基于交叉验证模型选优方法的中文分词系统的设计与开发[D];山西大学;2012年
7 赵颖;基于文本类别的层次中文分词算法研究[D];广西大学;2012年
8 戚晶;基于RSS的搜索引擎的研究与实现[D];吉林大学;2006年
9 郭庆贺;中文文本姓名识别的研究[D];东北师范大学;2009年
10 王荔;统计全切分中文分词系统的研究与实现[D];西安电子科技大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026