收藏本站
《中国计算语言学研究前沿进展(2009-2011)》2011年
收藏 | 手机打开
二维码
手机客户端打开本文

汉语词法分析中上文和下文孰重孰轻

于江德  王希杰  樊孝忠  
【摘要】:汉语诃法分析是中文信息处理的基础,现阶段汉语词法分析的主流技术是基于统计的方法,这类方法的本质都是把词法分析过程看作序列数据标注问题。上下文是统计语言学中获取语言知以和解决自然语言处理中多种实际应用问题必须依靠的资源和基础。汉语词法分析时需要从上下文获取相关的语言知识,但上文和下文是否同样重要呢?为克服仅凭主观经验给出猜测结果的不足,我们对汉语词法分析的分词、词性标注、命名实体识别这三项子任务进行了深入研究,对比了上文和下文对各个任务性能的影响,在国际汉语语言处理评测Bakeoff多种语料上进行了封闭测试,采用分别表征上文和下文的特征模板集进行了对比实验,结果表明,上文和下文对汉语分词和中文命名实体识别性能的影响差别较大,对汉语词性标注的性能影响差别较小。

【相似文献】
中国期刊全文数据库 前10条
1 姜文斌;吴金星;乌日力嘎;那顺乌日图;刘群;;蒙古语有向图形态分析器的判别式词干词缀切分[J];中文信息学报;2011年04期
2 胡莉;;中文“词”的语言模型识别研究方法综述[J];北方文学(下半月);2011年03期
3 宁慧;文雪巍;邹韵;吴良杰;;基于语义分析的数据驱动型漏洞检测方法[J];应用科技;2011年06期
4 李晓慧;;网络智能问答系统[J];电脑编程技巧与维护;2011年14期
5 王志洋;吕雅娟;刘群;;面向形态丰富语言的多粒度翻译融合[J];中文信息学报;2011年04期
6 陈永平;杨思春;毛万胜;苏新;刘俞;;中文问答系统中基于主题和焦点的问题理解[J];计算机系统应用;2011年06期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 于江德;王希杰;樊孝忠;;汉语词法分析中上文和下文孰重孰轻[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
2 孟凡东;徐金安;姜文斌;刘群;;平仄信息对中文词法分析的影响[A];机器翻译研究进展——第七届全国机器翻译研讨会论文集[C];2011年
3 董文莉;孟洛明;;XML网管接口一致性测试中XML解析器的开发[A];第六届全国计算机应用联合学术会议论文集[C];2002年
4 古丽拉.阿东别克;达吾勒.阿布都哈依尔;;基于规则的哈萨克语词干提取系统的研究[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
5 李佳晨;慕晓冬;孙玉铭;宋洪军;李密;翟国锋;;软件密集型装备软硬件故障代码前端分析方法研究[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
6 袁彩霞;王小捷;;基于受限最大熵模型的汉语词性标注的研究[A];第三届学生计算语言学研讨会论文集[C];2006年
7 方高林;于浩;孟遥;邹纲;;基于字分析单元的辅助阅读系统[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
8 姜文斌;吴金星;长青;赵理莉;刘群;那顺乌日图;;蒙古语词法分析的生成式统计建模[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
9 王四维;申德荣;李英军;聂铁铮;寇月;;应用词法分析方法抽取Web查询接口模式[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
10 孟凡东;徐金安;姜文斌;刘群;;异种语料融合方法:基于统计的中文词法分析应用[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
中国重要报纸全文数据库 前7条
1 李琨;IBM百度共拓企业搜索[N];中国计算机报;2006年
2 记者 潘竑;企业搜索:激活被遗忘的信息财富[N];金融时报;2006年
3 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
4 张晓兵;互联网应用技术乍暖还寒[N];中国计算机报;2006年
5 王培垠;输入法通向搜索的新入口?[N];电脑报;2006年
6 中国软件评测中心;如何挑选白盒测试工具[N];中国计算机报;2005年
7 高品均 陈荣良;加脱密引擎[N];计算机世界;2000年
中国博士学位论文全文数据库 前9条
1 孙晓;中文词法分析的研究及其应用[D];大连理工大学;2010年
2 姜维;统计中文词法分析及其强化学习机制的研究[D];哈尔滨工业大学;2007年
3 郭永辉;英汉机器翻译系统关键技术研究[D];解放军信息工程大学;2006年
4 陈兴蜀;应用区域边界的安全体系结构及实用模型研究[D];四川大学;2004年
5 雪艳;汉蒙词语对齐及相关技术研究[D];内蒙古大学;2009年
6 孟宪军;互联网文本聚类与检索技术研究[D];哈尔滨工业大学;2009年
7 刘根辉;计算语用学基础理论及其应用研究[D];华中科技大学;2005年
8 周浪;中文术语抽取若干问题研究[D];南京理工大学;2010年
9 斯·劳格劳;现代蒙古语依存句法自动分析研究[D];内蒙古大学;2011年
中国硕士学位论文全文数据库 前10条
1 王奇;基于语素的汉语词法分析方法研究[D];黑龙江大学;2011年
2 周吉;自然语言处理及搜索引擎的研究[D];吉林大学;2007年
3 王鲲;多智能体并行设计环境中自然语言通信功能的研究[D];中南大学;2002年
4 王晓春;从《汉语水平词汇与汉字等级大纲》看对外汉语词汇教学中的异形词问题[D];河北师范大学;2009年
5 吴江;SQL语言预编译器的构架——基于Linux操作系统[D];北京化工大学;2002年
6 秦元坤;正则表达式匹配中的DFA优化技术研究[D];清华大学;2008年
7 郭建星;形式化语言在报表系统中的研究和应用[D];上海师范大学;2004年
8 贺玲玲;FORTRAN 95 TO C/C++翻译系统设计与分析[D];电子科技大学;2004年
9 路红武;协议自适应的数据帧数据提取技术[D];北京化工大学;2005年
10 杨聪;基于口语对话的电话自动转接与信息查询技术研究[D];国防科学技术大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026