收藏本站
《语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集》2003年
收藏 | 手机打开
二维码
手机客户端打开本文

隐马尔可夫模型和贝叶斯模型词义消歧对比研究

丁江伟  刘挺  卢志茂  李生  
【摘要】:词义消歧是自然语言处理中的一个难点和热点问题。现阶段,多义词消歧的研究大多采用几个有代表性的歧义词作为研究与测试的对象,与实际应用还存在一定的距离,作者针对真实的应用情况,对大规模文本进行了词义消歧研究。本文比较了两个经典的统计模型解决大规模的词义消歧难题的优缺点,一阶隐马尔可大模型考察了邻接的上下文,有些时候距离歧义词较远的词语往往对词义的确定起着至关重要的作用,所以这种方法的消歧正确率比较低,开放测试在85%左右;单纯贝叶斯概率模型的消歧方法在抽取上下文特征时加大了上下文的窗口,使与多义词消歧相关的信息充分考虑进来,这种方法的开放消歧正确率最高可达92%,消歧效果明显。由此证明了贝叶斯模型词义消歧的有效性和比较优势。

【引证文献】
中国博士学位论文全文数据库 前1条
1 李辉;移动商务导购系统的研究[D];大连理工大学;2008年
中国硕士学位论文全文数据库 前5条
1 王国刚;n阶隐马尔可夫模型的参数估计[D];南京邮电大学;2011年
2 盛俊;潜在语义的Markov网络检索模型的研究[D];江西师范大学;2006年
3 刘小宇;基于语义理解的中文常问问答系统的研究[D];大连理工大学;2006年
4 甘丽新;基于Markov概念的信息检索模型[D];江西师范大学;2007年
5 余美华;信息检索中迁移Markov网络模型的研究[D];江西师范大学;2009年
【参考文献】
中国期刊全文数据库 前3条
1 荀恩东,李生,赵铁军;基于汉语二元同现的统计词义消歧方法研究[J];高技术通讯;1998年10期
2 鲁松,白硕,黄雄,张健;基于向量空间模型的有导词义消歧[J];计算机研究与发展;2001年06期
3 杨尔弘,张国清,张永奎;基于义原同现频率的汉语词义排歧方法[J];计算机研究与发展;2001年07期
【共引文献】
中国期刊全文数据库 前10条
1 谢宇;张仰森;肖建涛;;规则与统计相结合的汉语词义消歧模型[J];北京机械工业学院学报;2007年03期
2 张仰森;郭江;;四种统计词义消歧模型的分析与比较[J];北京信息科技大学学报(自然科学版);2011年02期
3 吴云芳;;词义消歧研究:资源、方法与评测[J];当代语言学;2009年02期
4 车超;金博;滕弘飞;屈福政;;基于义原关系的多策略汉语词义消歧方法[J];大连理工大学学报;2010年04期
5 卢志茂;刘挺;李生;;统计词义消歧的研究进展[J];电子学报;2006年02期
6 卢志茂,刘挺,张刚,李生;基于依存分析改进贝叶斯模型的词义消歧[J];高技术通讯;2003年05期
7 贾君枝;韩笑;;基于向量空间相似原理的框架词元扩展[J];情报科学;2009年06期
8 谢芳;胡泉;;利用神经网络方法进行词义消歧的可行性研究[J];软件导刊;2008年12期
9 王海云;刘金岭;杨金柱;;基于KNN和LAS的短信文本语义分类研究[J];软件导刊;2009年07期
10 王术,付关友,朱征宇;面向个性化服务的网页特征描述[J];计算机工程与设计;2005年03期
中国重要会议论文全文数据库 前7条
1 姚建民;张晶;赵铁军;于浩;李生;;英语句法分析树向汉语分析树的转换[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
2 陈浩;何婷婷;代玲;;基于向量空间模型的无导词义消歧[A];第二届全国学生计算语言学研讨会论文集[C];2004年
3 余晓峰;刘鹏远;赵铁军;;一种基于《知网》的汉语词语词义消歧方法[A];第二届全国学生计算语言学研讨会论文集[C];2004年
4 刘冬明;杨尔弘;;基于汉英双语平行语料库的词义排歧[A];第二届全国学生计算语言学研讨会论文集[C];2004年
5 曲维光;董宇;陈钟;陈小荷;;基于语境计算模型的词义消歧[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
6 王智超;季铎;蔡东风;张桂平;;文本聚类中基于知网的特征抽取方法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
7 邓宾;余正涛;韩露;车文刚;郭剑毅;;基于信息增益改进贝叶斯词义消歧模型[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
中国博士学位论文全文数据库 前10条
1 范冬梅;基于统计学习的词义识别方法研究[D];哈尔滨工程大学;2011年
2 陈清才;基于粗集的汉语建模及其应用研究[D];哈尔滨工业大学;2003年
3 熊文新;信息检索Query语言分析[D];北京语言大学;2006年
4 冯敏萱;论汉英平行语料的平行处理[D];南京师范大学;2006年
5 赵鹏;复杂网络与互联网个性化信息服务的研究[D];中国科学技术大学;2006年
6 李辉;移动商务导购系统的研究[D];大连理工大学;2008年
7 刘鹏远;基于知识自动获取的无指导译文消歧方法研究[D];哈尔滨工业大学;2008年
8 苏畅;汉语名词性隐喻的计算方法研究[D];厦门大学;2008年
9 张显;信息距离理论及其在问答系统中的应用研究[D];清华大学;2008年
10 车超;知识自动获取的词义消歧方法[D];大连理工大学;2010年
中国硕士学位论文全文数据库 前10条
1 程国斌;基于指示词语义扩展的词义识别方法的研究[D];哈尔滨工程大学;2010年
2 邓宾;中文词义消岐研究[D];昆明理工大学;2009年
3 沙有闯;基于Web文本挖掘的网络口碑监测系统研究[D];安徽大学;2010年
4 王冬娇;改进的语句相似度算法在问答系统中的应用研究[D];大连交通大学;2010年
5 牛彦清;中文问答系统的问句分类研究[D];太原理工大学;2011年
6 曹卫华;基于进化策略的仿唐诗自动生成系统[D];广东工业大学;2011年
7 徐赟;基于知网和贝叶斯模型的词义消岐技术的研究[D];南京理工大学;2010年
8 刘青磊;汉语词语及句子相似度算法研究与应用[D];电子科技大学;2011年
9 郭志兵;基于ICVSM的摘要抽取算法研究[D];河南科技大学;2009年
10 李锦;仿射传播算法在中文词语聚类中的应用研究[D];昆明理工大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 张杰,战学刚,冯金平,陈文亮;中文文本分类器的评价[J];鞍山科技大学学报;2005年Z1期
2 卢志茂,刘挺,张刚,李生;基于依存分析改进贝叶斯模型的词义消歧[J];高技术通讯;2003年05期
3 荀恩东,李生,赵铁军;基于汉语二元同现的统计词义消歧方法研究[J];高技术通讯;1998年10期
4 赵需要;张文德;;网络信息检索模式及未来发展[J];情报探索;2006年02期
5 左家莉,王明文,王希;基于Markov网络的信息检索扩展模型[J];清华大学学报(自然科学版);2005年S1期
6 崔航,文继荣,李敏强;基于用户日志的查询扩展统计模型[J];软件学报;2003年09期
7 李涓子,黄昌宁;语言模型中一种改进的最大熵方法及其应用[J];软件学报;1999年03期
8 杜世平,李海;二阶隐马尔可夫模型及其在计算语言学中的应用[J];四川大学学报(自然科学版);2004年02期
9 许欢庆,王永成,孙强;基于隐马尔可夫模型的Web网页预取[J];上海交通大学学报;2003年03期
10 金燕,李建华,杨宇航;推理网络对布尔检索的描述与改进[J];上海交通大学学报;1999年05期
中国重要会议论文全文数据库 前3条
1 余晓峰;刘鹏远;赵铁军;;一种基于《知网》的汉语词语词义消歧方法[A];第二届全国学生计算语言学研讨会论文集[C];2004年
2 赵妍妍;秦兵;刘挺;张俐;苏中;;基于多特征融合的句子相似度计算[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
3 张宇;刘挺;高立琦;车万翔;朱传靖;;基于常问问题集的在线客服实验研究[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
中国博士学位论文全文数据库 前2条
1 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
2 张俊林;基于语言模型的信息检索系统研究[D];中国科学院研究生院(软件研究所);2004年
中国硕士学位论文全文数据库 前2条
1 左家莉;基于Markov网络的信息检索模型[D];江西师范大学;2005年
2 周舫;汉语句子相似度计算方法及其应用的研究[D];河南大学;2005年
【二级引证文献】
中国期刊全文数据库 前2条
1 王霓虹;姜玥;马玲;;基于智能检索的速生林知识远程咨询系统[J];东北林业大学学报;2008年10期
2 郑诚;李清;刘福君;;改进的VSM算法及其在FAQ中的应用[J];计算机工程;2012年17期
中国硕士学位论文全文数据库 前10条
1 孔胜;文本资源的知识抽取研究[D];大连理工大学;2010年
2 杨朝玉;基于知网的受限域问答系统原型的设计与实现[D];华南理工大学;2010年
3 王冬娇;改进的语句相似度算法在问答系统中的应用研究[D];大连交通大学;2010年
4 石松;基于Markov团的信息检索扩展模型[D];江西师范大学;2011年
5 罗丽俊;中文信息处理中若干技术的研究与实现[D];辽宁科技大学;2008年
6 章程;受限域中文问答系统问句分析研究[D];昆明理工大学;2008年
7 李媛媛;基于潜在语义索引的中文文本检索研究[D];西南交通大学;2008年
8 朱婷;领域知识的理解与应答方法的研究[D];河北农业大学;2009年
9 朱红权;基于HowNet多特征结合的句子相似度计算[D];湖南大学;2009年
10 刘祥;基于课程知识的问答系统研究与应用[D];大连海事大学;2010年
【二级参考文献】
中国期刊全文数据库 前1条
1 李涓子,黄昌宁;基于转换的无指导词义标注方法[J];清华大学学报(自然科学版);1999年07期
【相似文献】
中国期刊全文数据库 前10条
1 王达;张坤;;贝叶斯模型在词义消歧中的应用[J];计算机时代;2009年07期
2 范冬梅;卢志茂;张汝波;潘树燊;;基于信息增益改进贝叶斯模型的汉语词义消歧[J];电子与信息学报;2008年12期
3 胡蓉;词义消歧方法初探[J];洛阳工业高等专科学校学报;2005年01期
4 刘挺;卢志茂;李生;;一个全文词义自动标注系统的实现[J];哈尔滨工业大学学报;2005年12期
5 周顺先;林亚平;王耀南;;基于主动学习隐马尔可夫模型的文本信息抽取[J];湖南大学学报(自然科学版);2007年06期
6 程开东;栾方军;马驷良;;一种基于隐马尔可夫模型的在线手写签名认证算法[J];吉林大学学报(理学版);2008年05期
7 王鹏程;;词性标注中隐马尔可夫模型的改进[J];河南财政税务高等专科学校学报;2009年04期
8 刘亚清;陈荣;;基于隐马尔可夫模型的Web信息抽取[J];计算机工程;2009年18期
9 陈博逊;黄晶晓;;一种基于HMM和CRF的双层分词模型[J];硅谷;2009年22期
10 王可,王翠梅;语音识别中的归一化状态持续时间隐马尔可夫模型(英文)[J];四川大学学报(自然科学版);1999年05期
中国重要会议论文全文数据库 前10条
1 丁江伟;刘挺;卢志茂;李生;;隐马尔可夫模型和贝叶斯模型词义消歧对比研究[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 吴崇斌;张全;;上下文边界可变的贝叶斯分类器词义消歧方法[A];第五届全国青年计算语言学研讨会论文集[C];2010年
3 邓宾;余正涛;韩露;车文刚;郭剑毅;;基于信息增益改进贝叶斯词义消歧模型[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
4 张仰森;黄改娟;苏文杰;;基于隐最大熵原理的汉语词义消歧方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
5 陈建美;林鸿飞;杨志豪;;基于贝叶斯模型的词汇情感消歧[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
6 张云涛;龚玲;王永成;;基于语料库的朴素贝叶斯方法的词义消歧[A];2005年中国智能自动化会议论文集[C];2005年
7 何径舟;王厚峰;;基于特征自动选取的汉语词义消歧[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年
8 秦颖;王小捷;;组合中文词义消歧[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
9 费玉莲;凌云;王勋;;基于增强隐马尔可夫模型的视频数据挖掘研究[A];全国第16届计算机科学与技术应用(CACIS)学术会议论文集[C];2004年
10 张宇;刘挺;文勖;;基于改进贝叶斯模型的问题分类[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
中国重要报纸全文数据库 前1条
1 晓业;TTS提升基金CIC服务[N];计算机世界;2002年
中国博士学位论文全文数据库 前10条
1 车超;知识自动获取的词义消歧方法[D];大连理工大学;2010年
2 李杰;隐马尔可夫模型的研究及其在图像识别中的应用[D];清华大学;2004年
3 涂锟;基于自然语言与记忆再重构的常识推理模型[D];华南理工大学;2010年
4 刘小军;人脸识别技术研究[D];中国科学院电子学研究所;2001年
5 段建勇;多词表达抽取及其应用[D];上海交通大学;2007年
6 王菁华;文本中知识的获取[D];北京邮电大学;2008年
7 秦颖;汉语词和短语的歧义消解研究[D];北京邮电大学;2008年
8 王瑞琴;基于语义处理技术的信息检索模型研究[D];浙江大学;2009年
9 刘凯鹏;社会性标注关键技术及其在信息检索中的应用研究[D];哈尔滨工业大学;2010年
10 栾方军;在线手写签名认证算法的研究[D];吉林大学;2007年
中国硕士学位论文全文数据库 前10条
1 徐赟;基于知网和贝叶斯模型的词义消岐技术的研究[D];南京理工大学;2010年
2 邓宾;中文词义消岐研究[D];昆明理工大学;2009年
3 史俊冰;问答系统中词义消歧与关键词扩展研究[D];太原理工大学;2011年
4 詹靓雯;基于知网的中文词义消歧研究[D];中国计量学院;2012年
5 凌广杰;基于分段半马尔可夫模型的在线序列模式检测方法研究[D];浙江大学;2006年
6 徐欣;基于HMM的中医临床疗效评价分析研究[D];北京交通大学;2009年
7 闫三锋;基于单片机语音识别系统设计[D];西北工业大学;2004年
8 吴芬芬;信息抽取算法研究[D];吉林大学;2006年
9 肖芳;基于混合遗传退火算法的web信息抽取方法研究与实现[D];电子科技大学;2009年
10 张剑;基于CRF的英文命名实体识别研究[D];哈尔滨工业大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026