收藏本站
《第二届全国学生计算语言学研讨会论文集》2004年
收藏 | 手机打开
二维码
手机客户端打开本文

词聚类在文本分类中的应用

朱慕华  陈文亮  朱靖波  
【摘要】:现有的文本分类方法需要较大的训练语料,在训练语料足够大的前提下可取得不错的效果,训练语料的规模直接影响分类的效果。然而,要大规模人工进行语料标注是一个难题。本文将k-means聚类算法引入到文本分类中,首先在无标注语料上进行词聚类,然后将聚类结果作为文本特征来代替词特征。通过这种方法,利用无标注的训练语料来改善训练语料不足的情况下文本分类的效果。实验结果表明,采用这种方法,在同等训练语料的情况下,分类性能确实有所提高。

【共引文献】
中国期刊全文数据库 前7条
1 史会峰,卢艳霞;基于多项式分布模型的Web文本分类[J];华北电力大学学报;2003年06期
2 任美睿;郭龙江;李金宝;;基于改进的向量空间模型的自动文本分类[J];哈尔滨商业大学学报(自然科学版);2006年01期
3 陈文亮,朱慕华,朱靖波,姚天顺;基于Bootstrapping的文本分类模型[J];中文信息学报;2005年02期
4 郭炜强,文军,文贵华;基于贝叶斯模型的专利分类[J];计算机工程与设计;2005年08期
5 罗海飞;吴刚;杨金生;;基于贝叶斯的文本分类方法[J];计算机工程与设计;2006年24期
6 彭雅,林亚平,陈治平;TFIDF_-NB协同训练算法[J];小型微型计算机系统;2004年12期
7 胡荣,罗庆云;kNN算法在文本分类中的改进[J];南华大学学报(自然科学版);2005年03期
中国重要会议论文全文数据库 前5条
1 Du-Seong Chang;Key-Sun Choi;;Causal Relation Extraction Using Cue Phrase and Lexical Pair Probabilities[A];Proceedings of the Conference First International Joint Conference on Natural Language Processing[C];2004年
2 Karl-Michael Schneider;;Learning to Filter Junk E-Mail from Positive and Unlabeled Examples[A];Proceedings of the Conference First International Joint Conference on Natural Language Processing[C];2004年
3 Hiroya Takamura;Manabu Okumura;;A Comparative Study on the Use of Labeled and Unlabeled Data for Large Margin Classifiers[A];Proceedings of the Conference First International Joint Conference on Natural Language Processing[C];2004年
4 石志伟;吴功宜;;改善朴素贝叶斯在文本分类中的稳定性[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
5 陈宁昱;周雅倩;黄萱菁;吴立德;;利用未标注语料改进实体名识别性能[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 陈治平;智能搜索引擎理论与应用研究[D];湖南大学;2003年
2 叶航军;面向大规模图像库的索引和检索机制研究[D];清华大学;2003年
3 杨小兵;聚类分析中若干关键技术的研究[D];浙江大学;2005年
4 谭松波;高性能文本分类算法研究[D];中国科学院研究生院(计算技术研究所);2006年
5 古平;基于贝叶斯模型的文档分类及相关技术研究[D];重庆大学;2006年
6 刘勇;基于粒度计算的知识发现研究及其应用[D];浙江大学;2006年
7 刘光远;基于数据挖掘的移动通信用户流失研究[D];吉林大学;2007年
8 胡静;机器学习及其神经网络分类器优化设计[D];合肥工业大学;2007年
9 尹清波;基于机器学习的入侵检测方法研究[D];哈尔滨工程大学;2007年
10 刘伟;图像检索中若干问题的研究[D];浙江大学;2007年
中国硕士学位论文全文数据库 前10条
1 孙丽华;中文文本自动分类的研究[D];哈尔滨工程大学;2002年
2 刘钢;基于神经网络的文本分类系统NNTCS的设计和实现[D];中国科学院研究生院(软件研究所);2003年
3 王晓峰;基于进化半监督式模糊聚类算法的入侵检测[D];西安电子科技大学;2005年
4 全德;基于潜在语义索引的文本分类技术的研究[D];东北大学;2005年
5 车志军;人工智能在搜索引擎资源获取中的应用[D];浙江大学;2006年
6 于书翰;基于网页自动分类的搜索引擎研究[D];长春理工大学;2004年
7 刘里;中文文本分类中特征描述及分类器构造方法研究[D];重庆大学;2006年
8 王春媛;基于内容的图像检索反馈算法研究[D];哈尔滨工业大学;2006年
9 邹汉斌;支持向量机在文本分类中的应用[D];江南大学;2006年
10 丁琼;基于向量空间模型的文本自动分类系统的研究与实现[D];同济大学;2007年
【相似文献】
中国期刊全文数据库 前10条
1 高金勇;徐朝军;冯奕竸;;基于迭代的TFIDF在短文本分类中的应用[J];情报理论与实践;2011年06期
2 唐云;罗俊松;;基于粗糙集和BP神经网络的文本分类研究[J];计算机仿真;2011年06期
3 胥桂仙;向春丞;翁彧;赵小兵;杨国胜;;基于栏目的藏文网页文本自动分类方法[J];中文信息学报;2011年04期
4 张国梁;肖超锋;;基于SVM新闻文本分类的研究[J];电子技术;2011年08期
5 刘新生;厉锟;;基于BP神经网络的旅游突发事件文本分类系统的设计与实现[J];计算机与现代化;2011年07期
6 王斌;朴顺姬;邵华清;;基于粗糙集的KNN的WEB文本分类的研究[J];数字技术与应用;2011年08期
7 张春元;;基于条件随机场的文本分类模型[J];计算机技术与发展;2011年07期
8 王朔;刘俊;李润平;;金融领域中的数据挖掘应用探索[J];福建电脑;2011年07期
9 张祥;石广田;;基于聚类优化的支持QOS语义web服务发现框架研究[J];硅谷;2011年17期
10 卢志翔;蒙丽莉;;文本分类中特征项权重算法的改进[J];柳州师专学报;2011年04期
中国重要会议论文全文数据库 前10条
1 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
2 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
3 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
4 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
5 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
6 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
7 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
8 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
9 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 贾会强;刘晓丽;于洪志;;基于词性特征提取的藏文文本分类方法研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
中国重要报纸全文数据库 前10条
1 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
2 王云鹤 熊立;武汉电信直销中心剑指聚类市场[N];人民邮电;2009年
3 记者 肖卓;聚类市场:想挖金矿不容易[N];人民邮电;2009年
4 张秋;突破聚类市场的信息化盲区[N];中国计算机报;2007年
5 符信;30个指标评价社会发展水平[N];南方日报;2005年
6 记者 李远治 通讯员 邹超 敖翔;重庆号百传媒探索聚类市场新模式[N];人民邮电;2009年
7 王培森;从Web挖到竞争情报[N];中国计算机报;2003年
8 本报记者 薛海滨;四大概念技术秀[N];计算机世界;2005年
9 长江期货 韩锦 邹云峰 高华;基于RFM模型的聚类分析算法在期货公司客户分类中的应用[N];期货日报;2008年
10 武德锋 李国辉 林洪文 姚作梁;图像世界任我行[N];计算机世界;2002年
中国博士学位论文全文数据库 前10条
1 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
2 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
3 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
4 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
5 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
6 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
7 刘华;基于关键短语的文本内容标引研究[D];北京语言大学;2005年
8 陈毅恒;文本检索结果聚类及类别标签抽取技术研究[D];哈尔滨工业大学;2010年
9 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
10 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
中国硕士学位论文全文数据库 前10条
1 黄辉;基于LSI和SVC的网页文本分类算法研究[D];长沙理工大学;2010年
2 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
3 何尧;基于半监督学习的中文文档分类技术研究[D];中南大学;2005年
4 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
5 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
6 闫晨;KNN文本分类研究[D];燕山大学;2010年
7 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
8 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
9 易靖;基于信息粒度原理的文本分类方法的研究[D];北京工业大学;2001年
10 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026