收藏本站
《全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集》2010年
收藏 | 手机打开
二维码
手机客户端打开本文

网络爬虫技术在搜索引擎中的应用

徐剑  柯贵明  
【摘要】:在当今互联网飞速发展的今天,搜索引擎技术日益提高。如何从海量的万维网网页中以何种策略找到自己所需的信息成了搜索引擎中网络爬虫研究的主要问题。网络爬虫是将万维网上的网页通过抓取程序自动提取出来,它的工作机制是为搜索引擎从万维网上下载和抓取网页,是搜索引擎的重要组成部分。本文介绍了网络爬虫的分类和主要工作原理,并分析了搜索引擎的发展趋势。

手机知网App
【参考文献】
中国期刊全文数据库 前4条
1 王岩;;搜索引擎中网络爬虫技术的发展[J];电信快报;2008年10期
2 陈哲;;垂直搜索中网页抓取技术的研究[J];科技信息;2009年22期
3 林海霞;司海峰;张微微;;基于Java技术的主题网络爬虫的研究与实现[J];微型电脑应用;2009年02期
4 曾伟辉;李淼;曾伟辉;;深层网络爬虫研究综述[J];计算机系统应用;2008年05期
【共引文献】
中国期刊全文数据库 前8条
1 王春梅;;基于Bloom Filter的网络爬虫URL消重算法研究[J];产业与科技论坛;2011年18期
2 于成龙;于洪波;;网络爬虫技术研究[J];东莞理工学院学报;2011年03期
3 陈丽君;;深层网查询表单标签识别技术研究[J];电脑开发与应用;2010年02期
4 孙立伟;何国辉;吴礼发;;网络爬虫技术的研究[J];电脑知识与技术;2010年15期
5 唐勇;;网络论坛爬虫的设计[J];电脑知识与技术;2012年03期
6 林爱群;习万球;;Deep Web信息资源的查询接口集成研究[J];热带农业科学;2011年12期
7 黄聪会;张水平;胡洋;;主题Deep Web爬虫框架研究[J];计算机工程与设计;2010年05期
8 王益强;赵静;;网页文本数据自动采集方法综述[J];信息与电脑(理论版);2012年09期
中国重要会议论文全文数据库 前1条
1 李楠;谷利泽;钮心忻;;用于XSS扫描的网络爬虫的设计与实现[A];2010年全国通信安全学术会议论文集[C];2010年
中国博士学位论文全文数据库 前1条
1 张莹;基于语义的分布式服务与资源一体化发现方法研究[D];北京交通大学;2009年
中国硕士学位论文全文数据库 前10条
1 李蕊;基于网络爬虫技术的多源下载系统的设计与实现[D];北京邮电大学;2011年
2 张锐;面向电子商务的深层网入口挖掘研究[D];杭州电子科技大学;2011年
3 郑炯;WEB应用安全漏洞挖掘的研究与实现[D];电子科技大学;2011年
4 刘旭;基于互联网数据的话题发现及追踪技术研究与实现[D];复旦大学;2010年
5 赵岩;深层网络信息资源集成模式的类型与选择[D];郑州大学;2011年
6 杨哲;基于Groovy的分布式网络爬虫系统的设计与实现[D];西南交通大学;2010年
7 单大甫;基于网络评论的文本倾向性分类技术的研究与实现[D];国防科学技术大学;2010年
8 隋玉航;基于WebHarvest的中文财经新闻搜索引擎的设计与实现[D];华中科技大学;2011年
9 赵志军;基于分布式的垂直搜索引擎的研究与实现[D];北京信息控制研究所;2011年
10 余舟华;基于陷阱的spider检测评价模型研究[D];沈阳航空航天大学;2011年
【二级参考文献】
中国期刊全文数据库 前4条
1 彭建荣;罗永会;;搜索引擎的基本原理及发展趋势[J];电脑知识与技术;2006年02期
2 刘世涛;;简析搜索引擎中网络爬虫的搜索策略[J];阜阳师范学院学报(自然科学版);2006年03期
3 郑冬冬,赵朋朋,崔志明;Deep Web爬虫研究与设计[J];清华大学学报(自然科学版);2005年S1期
4 郑冬冬;崔志明;;Deep Web爬虫爬行策略研究[J];计算机工程与设计;2006年17期
中国硕士学位论文全文数据库 前1条
1 罗兵;支持AJAX的互联网搜索引擎爬虫设计与实现[D];浙江大学;2007年
【相似文献】
中国期刊全文数据库 前10条
1 刘洁清;吴京慧;;面向主题的个人实时搜索引擎的设计与实现[J];现代图书情报技术;2006年05期
2 陈丽君;林怀忠;;搜索引擎页面刷新策略研究综述[J];计算机系统应用;2009年07期
3 陈鹤年;季文天;王成;李俊青;;支持Gzip压缩和编码转换的网络爬虫设计[J];电脑知识与技术;2010年30期
4 陶荣;陈燕;;基于Lucene小型搜索引擎的研究与实现[J];大众科技;2010年02期
5 徐远超;刘江华;刘丽珍;关永;;基于Web的网络爬虫的设计与实现[J];微计算机信息;2007年21期
6 王冬;;中文信息检索关键技术分析[J];电脑知识与技术(学术交流);2007年15期
7 王冬;张运波;黄应红;;中文信息检索关键技术分析[J];电脑知识与技术(学术交流);2007年17期
8 谢娟文;秦淑娟;焦爱胜;;人工智能在搜索引擎资源获取中的应用[J];机械研究与应用;2009年02期
9 蔡笑伦;;网络爬虫技术的发展趋势[J];科技信息;2010年12期
10 刘凡平;高艳华;于炯;张伟;;基于关键决策方法的站内搜索研究与实现[J];微电子学与计算机;2010年08期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 徐剑;柯贵明;;网络爬虫技术在搜索引擎中的应用[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
3 刘凡平;高艳华;于炯;张伟;;基于关键决策方法的站内搜索研究与实现[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年
4 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
5 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
6 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
7 梁循;何洋波;;企业内嵌搜索引擎的定价问题[A];中国运筹学会第八届学术交流会论文集[C];2006年
8 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
9 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛(第十一集)[C];2003年
10 陈磊;茹立云;马少平;;基于用户日志挖掘的搜索引擎广告效果分析[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年
中国重要报纸全文数据库 前10条
1 刘文君;搜索引擎也在寻求创新[N];大众科技报;2007年
2 EndTo;优化Meta讨好搜索引擎[N];电脑报;2009年
3 本报记者 马文方;Yebol:从思维科学导出搜索引擎[N];中国计算机报;2010年
4 博文译;你的隐私 搜索引擎知道[N];计算机世界;2007年
5 杨洁;搜索引擎营销市场生变[N];中国计算机报;2007年
6 ;法国挑战谷歌推出卫星地图搜索引擎[N];人民日报;2006年
7 谌力;第三代搜索,Google的心病[N];网络世界;2006年
8 MirrorCity.net技术总监 姚浩;让搜索引擎回归最初梦想[N];中国文化报;2008年
9 本报记者 操秀英;国双科技以技术加服务赢得市场[N];科技日报;2009年
10 赵敏;“鱼群理论”破解搜索营销谜局[N];中国企业报;2007年
中国博士学位论文全文数据库 前10条
1 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
2 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
3 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
4 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
8 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
9 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年
10 刘东飞;智能双语搜索方法及搜索引擎的研究[D];武汉理工大学;2009年
中国硕士学位论文全文数据库 前10条
1 梁萍;搜索引擎中网络爬虫及结果聚类的研究与实现[D];中国科学技术大学;2011年
2 夏亮;主题搜索引擎网络爬虫搜索策略的研究与实现[D];北京化工大学;2010年
3 龚勇;搜索引擎中网络爬虫的研究[D];武汉理工大学;2010年
4 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年
5 李春生;基于WEB信息采集的分布式网络爬虫搜索引擎的研究[D];吉林大学;2009年
6 欧建斌;基于Web挖掘与信息分类的个性化搜索引擎研究[D];暨南大学;2010年
7 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年
8 时延军;基于Nutch的分布式搜索引擎的设计与研究[D];长春理工大学;2010年
9 张彬;基于lucene的搜索引擎[D];上海师范大学;2010年
10 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026