自动词性标注中语法因素和词汇因素对英汉语的不同影响
【摘要】:本文使用词性自动标注模型对影响英汉语词性标注的相关因素进行定量研究,进而探究词汇因素与语法因素各自对英汉语词性标注的影响,目的是为深入分析英汉语在词类问题上的差别,更好地构建汉语语料库提供参考依据。本文将词汇因素近似地形式化为词汇发射概率和词汇最大词性概率,语法因素近似地形式化为词性转移概率,并利用隐马尔科夫模型、马尔科夫模型和词汇最大概率模型进行自动标注实验。通过比较不同模型的标注准确率,发现语法因素对于英语词性标注的影响显著大于汉语,词汇因素对汉语词性标注的影响显著大于英语。在英汉语内部,英语的词的核心语义因素与句法因素对词性标注的影响基本相仿;而汉语的词的核心语义因素对词性标注的影响显著高于句法因素。
|
|
|
|
1 |
邢富坤;宋柔;;自动词性标注中语法因素和词汇因素对英汉语的不同影响[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年 |
2 |
吾守尔·斯拉木;;前言[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年 |
3 |
加米拉·吾守尔;吐尔根·依不拉音;;现代维吾尔语语言资源平台构建技术的研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年 |
|