自动词性标注中语法因素和词汇因素对英汉语的不同影响

【摘要】：本文使用词性自动标注模型对影响英汉语词性标注的相关因素进行定量研究,进而探究词汇因素与语法因素各自对英汉语词性标注的影响,目的是为深入分析英汉语在词类问题上的差别,更好地构建汉语语料库提供参考依据。本文将词汇因素近似地形式化为词汇发射概率和词汇最大词性概率,语法因素近似地形式化为词性转移概率,并利用隐马尔科夫模型、马尔科夫模型和词汇最大概率模型进行自动标注实验。通过比较不同模型的标注准确率,发现语法因素对于英语词性标注的影响显著大于汉语,词汇因素对汉语词性标注的影响显著大于英语。在英汉语内部,英语的词的核心语义因素与句法因素对词性标注的影响基本相仿;而汉语的词的核心语义因素对词性标注的影响显著高于句法因素。