收藏本站
《第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集》2005年
收藏 | 手机打开
二维码
手机客户端打开本文

一个改进的中文文本过滤系统的设计与实现

李东林  迟呈英  战学刚  
【摘要】:中文文本过滤系统的研究与设计是当务之急。针对传统文本过滤仅仅把文档相似度同设定阈值相比较判定相关与否的判断方法在过滤性能方面的不足,本文设计了一个改进的文本过滤系统。系统对流入文档进行两重过滤。通过引入用户主题不相关配置文件和相应的不相关阈值。进一步的对传统文本过滤返回的结果文档集进行不相关性检测,剔除与用户主题不相关的配置文件相关度大于不相关阂值的文档,减少不相关文档的返回。实验证明,该系统提高了文本过滤性能。

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 陶惠;张妍;郝光权;;基于向量空间的文档聚类算法分析[J];电脑知识与技术;2011年20期
2 李卫东;陆玲;;融合VSM技术的PageRank算法研究与应用[J];计算机与现代化;2011年07期
3 李虎;邹鹏;贾焰;周斌;;一种基于MapReduce的分布式文本数据过滤模型研究[J];信息网络安全;2011年09期
4 申莹;徐东平;庞俊;;基于概念的中文博客情感极性聚类分析[J];计算机系统应用;2011年08期
5 潘正高;侯传宇;谈成访;;基于命名实体的Web新闻文本分类方法[J];合肥工业大学学报(自然科学版);2011年08期
6 孙桂煌;;一种基于n-gram短语的文本聚类方法研究[J];现代计算机(专业版);2011年14期
7 夏火松;刘建;;文本相似度视角下的虚拟社区评论的可信性分析[J];现代情报;2011年09期
8 孟佳娜;林鸿飞;李彦鹏;;基于特征贡献度的特征选择方法在文本分类中应用[J];大连理工大学学报;2011年04期
9 李志明;李善平;杨朝晖;林欣;;基于本体分割的本体映射算法[J];模式识别与人工智能;2011年02期
10 许志凯;徐志明;李栋;李生;;面向互联网新闻的话题检测与追踪[J];智能计算机与应用;2011年03期
中国重要会议论文全文数据库 前10条
1 黄萱菁;夏迎炬;吴立德;;基于向量空间模型的文本过滤系统[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年
2 赵林;夏迎炬;黄萱菁;吴立德;;基于Winnow算法的文本过滤[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
3 李东林;迟呈英;战学刚;;一个改进的中文文本过滤系统的设计与实现[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
4 张刚;刘挺;秦兵;车万翔;李生;;面向信息内容安全的文本过滤系统研究[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
5 王桐;刘大昕;田迪;孙伟;张万松;;一种改进的XML向量空间模型及其近似匹配算法[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
6 李虎;邹鹏;贾焰;周斌;;一种基于Map Reduce的分布式文本数据过滤模型研究[A];第26次全国计算机安全学术交流会论文集[C];2011年
7 高勇;荀恩东;宋柔;;构造自然语言问答系统平台[A];第二届全国学生计算语言学研讨会论文集[C];2004年
8 喻飞;夏晓燕;吴蓉晖;徐成;;基于向量空间模型的信息安全审计系统[A];第二十六届中国控制会议论文集[C];2007年
9 陈浩;何婷婷;代玲;;基于向量空间模型的无导词义消歧[A];第二届全国学生计算语言学研讨会论文集[C];2004年
10 李振星;徐泽平;;基于兴趣模型的WEB信息预测采集过滤方法[A];第一届学生计算语言学研讨会论文集[C];2002年
中国重要报纸全文数据库 前5条
1 清华大学计算机系智能技术与系统国家重点实验室 张敏 金奕江;寻“宝”有术[N];计算机世界;2003年
2 中国科学院计算技术研究所 王 斌;内容为王[N];计算机世界;2004年
3 记者 徐建华;“绿色上网”新标准为手机扫黄[N];中国质量报;2010年
4 记者 徐建华;网络扫黄 标准帮忙[N];中国质量报;2010年
5 本报记者 徐建华;我国着力构建绿色上网标准体系[N];中国质量报;2009年
中国博士学位论文全文数据库 前10条
1 夏迎炬;文本过滤关键技术研究[D];复旦大学;2003年
2 朱振方;基于微粒群和遗传优化的文本过滤关键技术研究[D];山东师范大学;2012年
3 刘永丹;文档数据库若干关键技术研究[D];复旦大学;2004年
4 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
5 孙道军;文本挖掘预处理相关基础技术分析与应用研究[D];北京邮电大学;2008年
6 邢军;领域本体构造中数据源选取及构造方法的研究[D];大连理工大学;2008年
7 杜卫锋;粗糙集理论在中文文本分类中的应用[D];西南交通大学;2006年
8 马晖男;信息检索中浅层语义模型的研究[D];大连理工大学;2007年
9 徐婕;基于对等网络的资源搜索策略的研究[D];华中科技大学;2007年
10 王修力;基于描述复杂性的信息检索理论与若干模型研究[D];北京语言大学;2006年
中国硕士学位论文全文数据库 前10条
1 孙岩国;基于Internet的中文文本过滤系统的研究与实践[D];兰州理工大学;2004年
2 董梅;文本内容的信息过滤技术研究[D];合肥工业大学;2006年
3 孙浩;基于主动学习的文本过滤系统的研究[D];北京邮电大学;2011年
4 周俊;一种不良文本过滤方法[D];电子科技大学;2012年
5 周聚;基于网络信息审计的文本过滤的研究与实现[D];苏州大学;2010年
6 邵建双;基于概念格的文本过滤系统的设计与实现[D];大连海事大学;2010年
7 汪前秀;基于改进的VSM的不良文本过滤模型研究[D];东北财经大学;2010年
8 褚金正;面向特定领域的文本识别和分类[D];湖南大学;2005年
9 张波;个性化Web搜索系统研究[D];燕山大学;2006年
10 郭妍;基于市长公开电话文本为背景的两种自动分类算法的比较[D];东北师范大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026