收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于MapReduce框架的近似复制文本检测

李瑞  王朝坤  郑伟  王建民  王伟平  
【摘要】:海量文本数据近似复制文本检测在现实生活中具有广泛应用,如相似网页检测.提出了一种基于MapReduce的相似文本匹配算法,给定一个文本集合和相似性阈值,该算法能够有效计算文本集合中不小于该阈值的所有文本对.在真实数据集合上的实验结果表明,与现有工作相比,所提算法能够快速返回相似文本对.

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 郑启龙;汪睿;王向前;;HPMR内存管理模块优化设计[J];计算机系统应用;2011年08期
2 李虎;邹鹏;贾焰;周斌;;一种基于MapReduce的分布式文本数据过滤模型研究[J];信息网络安全;2011年09期
3 李远方;邓世昆;闻玉彪;韩月阳;;Hadoop-MapReduce下的PageRank矩阵分块算法[J];计算机技术与发展;2011年08期
4 李珺;;基于Hadoop云计算模型探究[J];信息安全与技术;2011年06期
5 辛洁;崔志明;赵朋朋;张广铭;鲜学丰;;基于MapReduce虚拟机的Deep Web数据源发现方法[J];通信学报;2011年07期
6 李远方;贾时银;邓世昆;韩月阳;;基于树结构的MapReduce模型[J];计算机技术与发展;2011年08期
7 戎翔;李玲娟;;基于MapReduce的频繁项集挖掘方法[J];西安邮电学院学报;2011年04期
8 周智刚;;利用与知识有关的资源分配策略提高数据密集计算的性能[J];小型微型计算机系统;2011年08期
9 陶永才;薛正元;石磊;;基于MapReduce的贝叶斯垃圾邮件过滤机制[J];计算机应用;2011年09期
10 金欣;王晶;沈奇威;;分布式最小生成树聚类的设计与实现[J];计算机系统应用;2011年07期
11 刘永楠;王宏志;高宏;;MapReduce框架下基于字符串波形的实体识别方法[J];计算机科学与探索;2011年08期
12 冷芳玲;鲍玉斌;高伟;于戈;;基于MapReduce的数据聚集运算算法[J];中国科技论文在线;2011年07期
13 王宏宇;;Hadoop平台在云计算中的应用[J];软件;2011年04期
14 张兴旺;李晨晖;秦晓珠;;云计算环境下大规模数据处理的研究与初步实现[J];现代图书情报技术;2011年04期
15 李明;胥光辉;戢瑶;;MapReduce编程模型在网络I/O密集型程序中的应用研究[J];计算机应用研究;2011年09期
16 陈俊;陈孝威;;基于Hadoop建立云计算系统[J];贵州大学学报(自然科学版);2011年03期
17 倪靖;;一种基于云计算的Web结构挖掘算法[J];电脑知识与技术;2011年24期
18 朱宁波;张春凤;郑碧娟;;基于自适应LBP的视频文本检测算法[J];计算机工程;2011年18期
19 ;[J];;年期
20 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 李瑞;王朝坤;郑伟;王建民;王伟平;;基于MapReduce框架的近似复制文本检测[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
2 赵伟;陈承收;李立军;;基于MapReduce云计算模型的碰撞检测算法[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年
3 孙广中;肖锋;熊曦;;MapReduce模型的调度及容错机制研究[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年
4 朱辉;李在铭;;视频图像中文本检测与分割技术研究[A];第十届全国信号处理学术年会(CCSP-2001)论文集[C];2001年
5 郑启龙;房明;汪胜;王向前;吴晓伟;王昊;;基于MapReduce模型的并行科学计算[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年
6 于佳;王燕;;基于SOM的视频中人工文本区域检测方法[A];黑龙江省计算机学会2009年学术交流年会论文集[C];2010年
7 郑启龙;王昊;吴晓伟;房明;;HPMR:多核集群上的高性能计算支撑平台[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年
8 李虎;邹鹏;贾焰;周斌;;一种基于Map Reduce的分布式文本数据过滤模型研究[A];第26次全国计算机安全学术交流会论文集[C];2011年
9 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
10 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
中国博士学位论文全文数据库 前10条
1 孙巧榆;复杂背景图像的文本信息提取研究[D];华东师范大学;2012年
2 彭青松;Bayesian网及其在图像分析中的应用研究[D];合肥工业大学;2005年
3 刘楠;视频广告内容分析与理解[D];北京交通大学;2012年
4 李朝晖;基于视频文本检测和视频对象分割方法研究[D];华南理工大学;2004年
5 黄剑华;自然场景中文本信息提取方法[D];哈尔滨工业大学;2007年
6 黄晓冬;基于特征融合的视频文本获取研究[D];北京邮电大学;2010年
7 周景超;视频文本检测算法研究[D];中国科学院研究生院(自动化研究所);2008年
8 郑霄;超级计算机系统的可用性评估研究[D];解放军信息工程大学;2009年
9 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
10 马辉;基于MapReduce的分布式地震射线追踪方法研究[D];中国地质大学(北京);2012年
中国硕士学位论文全文数据库 前10条
1 陈丽娇;基于极大稳定极值区的视频文本检测算法研究[D];大连理工大学;2012年
2 于佳;基于SOM的视频中人工文本检测方法研究[D];哈尔滨工程大学;2010年
3 赵妍;视频文本检测研究[D];南京大学;2012年
4 王瑾;局部轮廓信息描述结合学习分类的文本检测技术研究[D];燕山大学;2010年
5 孙小亮;基于多帧融合的视频文本检测[D];北京邮电大学;2011年
6 肖鹏元;基于GPU并行计算的重复文本检测系统[D];浙江大学;2011年
7 朱盛凯;基于MapReduce的科学计算应用性能分析与优化[D];复旦大学;2010年
8 马丽娜;基于LVQ的视频文本检测方法研究[D];哈尔滨工程大学;2012年
9 张琦;基于MapReduce的分布式规则匹配系统的研究与实现[D];浙江大学;2011年
10 姚宇;一种基于MapReduce的视频拷贝检测系统[D];复旦大学;2011年
中国重要报纸全文数据库 前2条
1 刘琦;MapReduce:亚马逊云服务再添新援[N];中国计算机报;2009年
2 《网络世界》记者 周源;Platform MapReduce:专注企业级用户[N];网络世界;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978