收藏本站
《第五届全国青年计算语言学研讨会论文集》2010年
收藏 | 手机打开
二维码
手机客户端打开本文

汉、蒙、藏、维分词与词性标注技术发展现状研究

通拉嘎  
【摘要】:中文信息处理用各种统计方法实现精度的提高,而规则的运用更多是在歧义和未登录词的研究上。蒙古语的统计方法发轫于近几年,但更多的是一种理念的进步,仍是以词干加附加成分的规则方法为主,现有AYIMAG和DARHAN切分和词性标注系统。藏文较多运用规则加统计的方法,也有直接运用viterbi算法进行分词的成果,其基于规则的方法是用格助词和词典库进行分词;现有北大计算语言学研究所和国家语言资源监测与研究中心少数民族语言分中心的藏文自动分词系统,不过还未见藏文词性标注系统的实现成果。维吾尔语有基于隐马尔科夫模型的viterbi算法与基于n-gram模型的尝试,其规则方法仍是词干加附加成分的切分理念,现还未见可用的切分与标注系统。

手机知网App
【参考文献】
中国期刊全文数据库 前10条
1 艾则孜·吐尔逊;买合木提·买买提;;基于隐马尔科夫模型的维吾尔语词性自动标注系统的设计与实现[J];和田师范专科学校学报;2009年05期
2 孙茂松,黄昌宁,邹嘉彦,陆方,沈达阳;利用汉字二元语法关系解决汉语自动分词中的交集型歧义[J];计算机研究与发展;1997年05期
3 谭红叶,郑家恒,刘开瑛;中国地名自动识别系统的设计与实现[J];计算机工程;2002年08期
4 郑家恒,张辉;基于HMM的中国组织机构名自动识别[J];计算机应用;2002年11期
5 胡冠龙;张建;李淼;;改进的基于转换方法的拉丁蒙文词性标注[J];计算机应用;2007年04期
6 玉素甫·艾白都拉;阿不都热依木·沙力;阿拉帕提古丽;;信息处理用维语词汇标注标记集的确定[J];计算机应用;2009年07期
7 何克抗,徐辉,孙波;书面汉语自动分词专家系统设计原理[J];中文信息学报;1991年02期
8 徐秉铮,詹剑,贺前华;基于神经网络的分词方法[J];中文信息学报;1993年02期
9 古丽拉·阿东别克,米吉提·阿布力米提;维吾尔语词切分方法初探[J];中文信息学报;2004年06期
10 杨尔弘;方莹;刘冬明;乔羽;;汉语自动分词和词性标注评测[J];中文信息学报;2006年01期
中国硕士学位论文全文数据库 前7条
1 何燕;任意类型的未登录词的识别研究[D];北京语言文化大学;2000年
2 毕丽克孜;现代维吾尔语语料库词频统计实验性研究[D];新疆大学;2003年
3 孟迎;基于统计的机器学习的中文命名实体识别[D];昆明理工大学;2004年
4 俞鸿魁;基于层次隐马尔可夫模型的汉语词法分析和命名实体识别技术[D];北京化工大学;2004年
5 淑琴;《蒙古语语法信息词典构形附加成分分库》的设计与实现[D];内蒙古大学;2005年
6 陈鹏;基于语料库的维吾尔语词干提取和词性标注[D];新疆大学;2006年
7 图格木勒;蒙古语语言资源库建设相关技术研究[D];内蒙古大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 丁丰,董娜,林碧琴,袁保宗;自然语言处理系统中自动分词的研究[J];北方交通大学学报;1999年06期
2 唐振民,靳从,杨静宇;档案文献主题词微机自动标引系统[J];兵工自动化;1993年02期
3 王光全;同形词族和汉语词类划分[J];北华大学学报(社会科学版);2000年03期
4 杨尔弘;;媒体5年词语使用情况调查分析[J];北华大学学报(社会科学版);2011年04期
5 王玉美,阮晓钢;基于人的语言认知行为的汉语文法分析专家系统[J];北京工业大学学报;2003年01期
6 刘来旸,瞿有利,樊孝忠;汉语智能输入系统的设计[J];北京理工大学学报;2001年03期
7 张锋,樊孝忠;基于最大熵模型的交集型切分歧义消解[J];北京理工大学学报;2005年07期
8 李玉森;张雪英;袁正午;;面向GIS的地理命名实体识别研究[J];重庆邮电大学学报(自然科学版);2008年06期
9 范云,黄萍,黄俊红;汉英平行语料库双语语义对应空位研究[J];重庆大学学报(社会科学版);2005年02期
10 窦嵘;加羊吉;黄伟;;统计与规则相结合的藏文人名自动识别研究[J];长春工程学院学报(自然科学版);2010年02期
中国重要会议论文全文数据库 前10条
1 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
2 通拉嘎;赵小兵;;论蒙古语词素切分的实现[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
3 哈斯那顺乌日图;;蒙古文WordNet名词同义词集合构建算法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
4 金朝;蒋宗礼;;中文机构名的识别讨论[A];2011高等职业教育电子信息类专业学术暨教学研讨会论文集[C];2011年
5 王惠;苏新春;;XHK基于语法知识的汉语词义描述[A];第六届汉语词汇语义学研讨会论文集[C];2005年
6 曾华琳;史晓东;李堂秋;;基于上下文信息提取的概率分词算法[A];第六届汉语词汇语义学研讨会论文集[C];2005年
7 朱学锋;俞士汶;李峰;;汉语语素库的构造及其同语法信息词典的集成[A];世纪之交的中国应用语言学研究——第二届全国语言文字应用学术研讨会论文集[C];1998年
8 李竹;;中文信息处理与现代汉语词类研究[A];世纪之交的中国应用语言学研究——第二届全国语言文字应用学术研讨会论文集[C];1998年
9 冯志伟;;确定切词单位的某些非语法因素[A];语言文字应用研究论文集(Ⅱ)[C];2004年
10 靳光瑾;郭曙纶;肖航;章云帆;;语料库加工中的规范问题——谈《信息处理用现代汉语词类标记集规范》[A];语言文字应用研究论文集(Ⅱ)[C];2004年
中国博士学位论文全文数据库 前10条
1 陈曦;基于子串的文本分割与主题标注研究[D];武汉大学;2009年
2 蔡盈芳;基于本体的航空产品知识库构建研究[D];北京交通大学;2011年
3 张海军;基于大规模语料的中文新词识别技术研究[D];中国科学技术大学;2011年
4 方清明;现代汉语名名复合形式的认知语义研究[D];暨南大学;2011年
5 屠晓;英文地址图像识别与翻译研究[D];华东师范大学;2011年
6 王俊;现代汉语离合词研究[D];华中师范大学;2011年
7 舒江波;面向中文信息处理的复句关系词自动标识研究[D];华中师范大学;2011年
8 斯·劳格劳;现代蒙古语依存句法自动分析研究[D];内蒙古大学;2011年
9 翟会锋;三官寨彝语参考语法[D];中央民族大学;2011年
10 吴戈;基于数字水印的文本信息隐藏方法的研究[D];长春理工大学;2011年
中国硕士学位论文全文数据库 前10条
1 冯海瑛;《万历野获编》分词理论与实践[D];广西师范学院;2010年
2 刘婧一;元代笔记分词理论与实践[D];广西师范学院;2010年
3 刘洋;基于本体的医保审计知识库构建研究[D];哈尔滨工程大学;2010年
4 王东亮;基于条件随机场模型的中文人名识别的研究[D];大连理工大学;2010年
5 廖文平;基于CRF的中文地名识别研究[D];大连理工大学;2010年
6 红霞;基于层叠条件随机场的中文机构名识别的研究[D];大连理工大学;2010年
7 潘正高;基于内容的Web新闻文本自动分类问题研究[D];合肥工业大学;2010年
8 王有权;基于Web的智能答疑技术研究与实现[D];南京财经大学;2010年
9 江涛;基于藏文web舆情分析的热点发现算法研究[D];西北民族大学;2010年
10 周登;基于N-Gram模型的藏文文本分类技术研究[D];西北民族大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 梁南元;书面汉语的自动分词与一个自动分词系统—CDWS[J];北京航空学院学报;1984年04期
2 吕琳,周世斌,刘玉树;一种高性能英文词性标注器的设计与实现[J];北京理工大学学报;2005年10期
3 孙茂松,邹嘉彦;汉语自动分词研究评述[J];当代语言学;2001年01期
4 赵铁军,方高林,李生;英语介词短语附着决策的研究[J];高技术通讯;2001年03期
5 孙茂松,卢红娜,邹嘉彦;基于隐Markov模型的汉语词类自动标注的实验研究[J];清华大学学报(自然科学版);2000年09期
6 王挺,陈火旺,杨谊,史晓东;一种自适应词性标注方法[J];软件学报;1997年12期
7 周强,孙茂松,黄昌宁;汉语最长名词短语的自动识别[J];软件学报;2000年02期
8 魏欧,吴健,孙玉芳,sonata.iscas.ac.cn;基于统计的汉语词性标注方法的分析与改进[J];软件学报;2000年04期
9 屈刚,陆汝占;一个改进的汉语词性标注系统[J];上海交通大学学报;2003年06期
10 刘涛;杨秀霞;;中国多民族文字信息处理中的Unicode编程[J];计算机工程与设计;2006年11期
中国重要会议论文全文数据库 前3条
1 高山;张艳;徐波;宗成庆;韩兆兵;;基于三元统计模型的汉语分词及标注一体化研究[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
2 那顺乌日图;刘群;巴达玛敖德斯尔;;面向机器翻译的蒙古语生成[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
3 俞士汶;;计算语言学的应用研究与基础研究[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
中国硕士学位论文全文数据库 前2条
1 刘兴宇;基于倒排索引的全文检索技术研究[D];华中科技大学;2004年
2 淑琴;《蒙古语语法信息词典构形附加成分分库》的设计与实现[D];内蒙古大学;2005年
【相似文献】
中国期刊全文数据库 前10条
1 刘遥峰;王志良;王传经;;中文分词和词性标注模型[J];计算机工程;2010年04期
2 袁里驰,钟义信;一种新颖的词性标注模型[J];微电子学与计算机;2005年09期
3 侯呈风;古丽拉·阿东别克;;改进的HMM应用于哈萨克语词性标注[J];计算机工程与应用;2010年36期
4 朱靖波,张玫杰,姚天顺;一种基于NA假设的训练数据自动构造方法[J];东北大学学报(自然科学版);1999年04期
5 韩东妹;林民;;自动词性标注概述[J];内蒙古科技与经济;2006年01期
6 潘炜;沈超;;面向层次分类标签的词性标注系统[J];计算机工程;2009年21期
7 孙静;李军辉;周国栋;;基于条件随机场的无监督中文词性标注[J];计算机应用与软件;2011年04期
8 吴杨;;词性标注对外文信息检索系统性能的影响[J];民营科技;2011年05期
9 孔骏,陈玉泉,陆汝占;自学习结合部分句法分析的汉语词性标注[J];上海交通大学学报;2001年09期
10 姚天昉,林莉,玉素甫·艾白都拉;基于德语语料库词性标注和统计方法的研究[J];上海交通大学学报;1996年06期
中国重要会议论文全文数据库 前10条
1 通拉嘎;;汉、蒙、藏、维分词与词性标注技术发展现状研究[A];第五届全国青年计算语言学研讨会论文集[C];2010年
2 杨尔弘;方莹;乔羽;;汉语自动分词和词性标注评测[A];第二届全国学生计算语言学研讨会论文集[C];2004年
3 帕里旦·吐尔逊;艾山·吾买尔;吐尔根·依布拉音;早克热·卡德尔;阿力木江·艾沙;;基于最大熵的维吾尔语词性标注模型[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
4 艳红;王斯日古楞;;蒙古文词语切分在自动词性标注中的应用[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 朱莉;孟遥;赵铁军;;典型参数平滑算法在词性标注中的性能评价[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
6 徐润华;陈小荷;;一种利用注疏的《左传》分词新方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
7 刘力;皮德常;;基于词性的文本挖掘算法在IDS日志中的应用[A];2009年中国智能自动化会议论文集(第三分册)[C];2009年
8 李怡平;吴飞;;多语言环境下的分布式互联网分词平台[A];第十六届全国数据库学术会议论文集[C];1999年
9 赵伟;路永刚;吴琼;;一种新的基于BMM和RMM分词方法的研究与实现[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
10 张艳;徐波;;基于转换的错误学习方法的汉语词性自动标注研究[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
中国重要报纸全文数据库 前10条
1 陆元婕;聪明的搜索引擎[N];中国计算机报;2001年
2 本报记者 侯闯;让企业不再“眼花”[N];计算机世界;2003年
3 ;大恒FTR全文检索软硬件解决方案[N];计算机世界;2001年
4 朱艳;术语解释[N];中国电脑教育报;2000年
5 郑昊;数据挖掘加工海量数据[N];中国计算机报;2007年
6 郑依华;搜索引擎也开源[N];计算机世界;2006年
7 清华大学计算机系人机交互与媒体集成研究所 陶建华 蔡莲红;语音合成的应用系统设计[N];计算机世界;2001年
8 杨宝昌;让MySQL支持中文全文检索[N];计算机世界;2006年
9 ;特殊符号在搜索引擎中的妙用[N];电脑报;2004年
10 晓梦;“面对面”的智能电子词典[N];计算机世界;2004年
中国博士学位论文全文数据库 前10条
1 孙晓;中文词法分析的研究及其应用[D];大连理工大学;2010年
2 刘兴林;中文词汇知识获取算法和语义计算研究及应用[D];华南理工大学;2012年
3 姜维;统计中文词法分析及其强化学习机制的研究[D];哈尔滨工业大学;2007年
4 郭永辉;英汉机器翻译系统关键技术研究[D];解放军信息工程大学;2006年
5 曹海龙;基于词汇化统计模型的汉语句法分析研究[D];哈尔滨工业大学;2006年
6 王智强;汉语指代消解及相关技术研究[D];北京邮电大学;2006年
7 蒋昌金;基于关键词提取的中文网页自动文摘方法研究[D];华南理工大学;2010年
8 侯锋;中文报业出版的文字质量智能辅助控制技术研究[D];国防科学技术大学;2010年
9 李晓黎;WEB信息检索与分类中的数据采掘研究[D];中国科学院研究生院(计算技术研究所);2001年
10 张华平;语言浅层分析与句子级新信息检测研究[D];中国科学院研究生院(计算技术研究所);2005年
中国硕士学位论文全文数据库 前10条
1 钱揖丽;中文文本分词及词性标注自动校对方法研究[D];山西大学;2003年
2 刘东旭;在自然汉语中进行分词和词性标注[D];电子科技大学;2003年
3 刘金宁;词性标注体系对中文分词的影响[D];大连理工大学;2010年
4 俞鸿魁;基于层次隐马尔可夫模型的汉语词法分析和命名实体识别技术[D];北京化工大学;2004年
5 张虎;汉语语料库词性标注一致性检查及自动校对方法研究[D];山西大学;2005年
6 孙静;基于平行语料库的无监督中文词性标注研究[D];苏州大学;2010年
7 张丽静;规则与统计相结合的兼类词处理机制[D];大连理工大学;2002年
8 张磊;基于最大熵模型的汉语词性标注研究[D];大连理工大学;2008年
9 李泽中;最大熵结合词语聚类的中文词性标注研究[D];大连理工大学;2010年
10 熊冬明;汉语自动分词和中文人名识别技术研究[D];浙江大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026