收藏本站
《语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集》2003年
收藏 | 手机打开
二维码
手机客户端打开本文

基于大规模真实文本的平衡语料分析与文本分类方法

陈克利  宗成庆  王霞  
【摘要】:本文通过对大规模真实语料的统计和分析,比较了不同领域词汇量、词类比例等特征的差异。在此基础上,对TF*IDF文本分类器中采用的TF*IDF权重算法以及由此衍生的TF*IWF*IWF权重算法从TF、IWF两个角度进行了改进,提出了一种基于大规模语料库的文本分类方法,并将它与TF*IWF*IWF权重算法进行了对比,从实验结果看这种方法将F1测度值提高了12.28%,充分验证了其有效性。

【相似文献】
中国期刊全文数据库 前10条
1 于康;;【自制语料库】第1讲 软件的下载与安装[J];日语知识;2011年08期
2 奉国和;;文本分类性能评价研究[J];情报杂志;2011年08期
3 赖英旭;许昕;杨震;;基于尾项加权的自适应文本分类方法研究[J];中国科学技术大学学报;2011年07期
4 陈叶旺;余金山;;一种改进的朴素贝叶斯文本分类方法[J];华侨大学学报(自然科学版);2011年04期
5 朱培焱;夏栋梁;;汉英跨语言信息检索研究[J];计算机与现代化;2011年08期
6 吴谋硕;;基于遗传算法的文本分类技术[J];电脑知识与技术;2011年22期
7 扎西加;高定国;;藏语语料库TEI标记规范探讨[J];中文信息学报;2011年04期
8 高金勇;徐朝军;冯奕竸;;基于迭代的TFIDF在短文本分类中的应用[J];情报理论与实践;2011年06期
9 靳丹宁;;基于语料库调查中动词句型错误探析[J];安徽电子信息职业技术学院学报;2011年04期
10 唐云;罗俊松;;基于粗糙集和BP神经网络的文本分类研究[J];计算机仿真;2011年06期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
4 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
5 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
6 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
7 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
8 潘文锋;王斌;谭松波;;贝叶斯垃圾邮件过滤研究[A];全国网络与信息安全技术研讨会’2004论文集[C];2004年
9 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
中国重要报纸全文数据库 前10条
1 记者 王坤宁;商务方正合作开发辞书语料库及编纂系统[N];中国新闻出版报;2002年
2 本报记者 周建华;数字战略打造核心竞争力[N];中国图书商报;2001年
3 卢伟;文学语言的语料库研究方法[N];文艺报;2004年
4 记者 曹秀娟;省社科院两项目获得国家社会科学基金[N];山西日报;2010年
5 顾曰国;语料库语言学的发展[N];中国社会科学院院报;2003年
6 陈劲宏;东方快车2003之新鲜体验[N];中国电脑教育报;2002年
7 李大庆;迎来光与电告别铅与火[N];科技日报;2002年
8 ;探索普通话自然连续语音之规律[N];光明日报;2001年
9 本报记者 陈友梅;让电脑说人话[N];中国计算机报;2001年
10 闫宏志;全文翻译技术发展脉络[N];中国计算机报;2003年
中国博士学位论文全文数据库 前10条
1 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
2 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
3 张廷香;基于语料库的3-6岁汉语儿童词汇研究[D];山东大学;2010年
4 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
5 王俭;基于语料库的海明威小说评论研究[D];上海外国语大学;2012年
6 刘华;基于关键短语的文本内容标引研究[D];北京语言大学;2005年
7 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
8 夏云;基于语料库的英汉翻译小说常规化研究:历时的视角[D];山东大学;2010年
9 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
10 刘建鹏;语料库支撑的系统功能语法研究[D];西南大学;2012年
中国硕士学位论文全文数据库 前10条
1 陈林;独立于语种的文本分类方法[D];重庆大学;2007年
2 陈林;独立于语种的文本分类研究[D];重庆大学;2007年
3 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
4 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
5 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
6 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
7 闫晨;KNN文本分类研究[D];燕山大学;2010年
8 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
9 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
10 郭志毅;基于EM算法的半监督文本分类方法研究[D];重庆邮电大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026