收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

对自动分词的反思

黄昌宁  高剑峰  李沐  
【摘要】:自动分词是中文信息处理诸多应用系统的一个不可或缺的模块。二十年来国内外许多研究人员曾经在这块土地上辛勤耕耘,并取得了一定的成果,但从实用化的角度上来考察仍不尽人意。本文通过对自动分词任务的定义,分词歧义消解知识的调查,以及在统计语言模型的统一平台上实现自动分词,说明面向计算机的语言知识颗粒度极细、颗粒数量极大,在本质上不同于面向人的语言知识,也不是传统的句法—语义知识所能覆盖的。重新审视我们在自动分词乃至中文信息处理整个领域的思维模式和技术路线,实属必要。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李萍;;试论现代汉语词语的切分技术[J];中国新技术新产品;2010年24期
2 高洁羽,吕强,杨季文,钱培德;自动分词在输入法测试系统中的应用[J];电化教育研究;2003年02期
3 王彩荣,李晓毅,黄玉基;汉语自动分词系统的评价[J];微处理机;2003年05期
4 徐华中;徐刚;;一种新的汉语自动分词算法的研究和应用[J];计算机与数字工程;2006年02期
5 付海辰;;网页文本自动分词的有词典方法[J];华章;2011年05期
6 黄昌宁;自动分词[J];语言文字应用;1997年01期
7 王巍;;基于Perl的汉语自动分词算法研究[J];中州大学学报;2007年01期
8 罗洋;;汉语自动分词方法的综述[J];科技信息;2009年07期
9 陈顺强;;彝文自动分词技术研究[J];中文信息学报;2011年03期
10 曹焕光,郑家恒;自动分词软件质量的评价模型[J];中文信息学报;1992年04期
11 章森,宗成庆,陈肇雄,黄河燕;语句拼音-汉字转换的智能处理机制分析[J];中文信息学报;1998年02期
12 郑延斌;自动分词中的歧义处理[J];微型机与应用;1998年06期
13 傅立云;刘新;;基于词典的汉语自动分词算法的改进[J];情报杂志;2006年01期
14 付海辰;;基于二字词检测位图表的MM自动分词算法[J];信息与电脑(理论版);2011年03期
15 辛浩;;基于关联规则的中文姓名识别方法[J];宿州学院学报;2011年05期
16 文庭孝;汉语自动分词研究进展[J];图书与情报;2005年05期
17 陈榕;自动分词、标引与智能检索在信访业务处理中的应用[J];福建电脑;2003年10期
18 黄水清;程冲;;基于既定词表的自适应汉语分词技术研究[J];现代图书情报技术;2006年05期
19 张李义;李亚子;;基于反序词典的中文逆向最大匹配分词系统设计[J];现代图书情报技术;2006年08期
20 李振星,徐泽平,唐卫清,唐荣锡;全二分最大匹配快速分词算法[J];计算机工程与应用;2002年11期
中国重要会议论文全文数据库 前10条
1 黄昌宁;高剑峰;李沐;;对自动分词的反思[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 孙承杰;黄昌宁;关毅;;基于标注语料库的组合歧义检测与消解[A];第三届学生计算语言学研讨会论文集[C];2006年
3 黄昌宁;林娟;孙承杰;;何谓金本位[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
4 杨尔弘;方莹;乔羽;;汉语自动分词和词性标注评测[A];第二届全国学生计算语言学研讨会论文集[C];2004年
5 罗智勇;宋柔;荀恩东;;一种基于可信度的人名识别方法[A];第二届全国学生计算语言学研讨会论文集[C];2004年
6 许超;陈小荷;;试评两种商用机译软件的汉语分析能力[A];机器翻译研究进展——2002年全国机器翻译研讨会论文集[C];2002年
7 李斌;陈小荷;;面向中文陌生文本的人机交互式分词方法[A];第三届学生计算语言学研讨会论文集[C];2006年
8 吴岩;蔺荪;;中文自动查错与人机交互纠错系统的研究与实现—简介语科中文自动校对系统[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
9 江荻;;藏语文本信息处理的历程与进展[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
10 李晋霞;刘云;;面向计算机的二重复句层次划分研究[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
中国博士学位论文全文数据库 前4条
1 黄魏;植物营养诊断自动应答网络专家系统研究[D];华中农业大学;2007年
2 刘政怡;中文整句智能输入方法研究[D];安徽大学;2007年
3 郑逢斌;关于计算机理解自然查询语言的研究[D];西南交通大学;2004年
4 孙越恒;基于统计的NLP技术在中文信息检索中的应用研究[D];天津大学;2005年
中国硕士学位论文全文数据库 前10条
1 朱珣;中文自动分词系统的研究[D];华中师范大学;2004年
2 许荣荣;中文文本自动分词技术与算法研究[D];郑州大学;2010年
3 陈鹏宇;现代汉语自动分词研究及几个算法的实现[D];电子科技大学;2008年
4 蔡灿民;基于词典的智能分词系统的研究与实现[D];昆明理工大学;2008年
5 刘宽;现代汉语自动分词歧义分析及其消歧处理研究[D];兰州理工大学;2006年
6 杨孝光;中文文本自动分类系统研究—汉语分词及分类器的设计[D];电子科技大学;2004年
7 张敏;基于Internet的个性化信息检索关键技术研究[D];燕山大学;2006年
8 陈云;基于受限汉语和模块组合的自动程序设计研究[D];重庆大学;2008年
9 付蕾;知识元标引系统的设计与实现[D];华中师范大学;2009年
10 胡业江;中文姓名自动识别技术研究[D];华侨大学;2005年
中国重要报纸全文数据库 前1条
1 田梦;软件篇软件只是工具[N];计算机世界;2007年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978