收藏本站
《第二十届全国数据库学术会议论文集(技术报告篇)》2003年
收藏 | 手机打开
二维码
手机客户端打开本文

crlib:可交互异构Crawler框架的设计与实现

刘宝良  李建中  
【摘要】:正1概述在Web上采集信息是一项重要工作。这项工作通常由Crawler(也称为robot,spider等)完成。由于Web上信息量庞大,设计与实现一个可扩展、易维护的高效Crawler十分复杂。虽然目前已有一些商用Crawler在Web上工作,但是由于商业机密的原因,很少有关于如何实现Crawler的细节的文
【作者单位】:哈尔滨工业大学计算机学院数据库技术研究中心
【分类号】:TP311.52

手机知网App
【共引文献】
中国期刊全文数据库 前2条
1 赫枫龄,左万利;利用超链接信息改进网页爬行器的搜索策略[J];吉林大学学报(信息科学版);2005年01期
2 祝宇;夏诏杰;聂峰光;郭力;;支持向量机在化学主题爬虫中的应用[J];计算机与应用化学;2006年04期
中国重要会议论文全文数据库 前3条
1 吴丽辉;张凯;张刚;王斌;;天罗Web信息采集系统中的性能优化[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
2 张凯;李魁;张刚;王斌;;基于站点的Web信息采集器研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
3 刘莉;肖诗斌;王涛;施水才;;基于RSS的分布式博客搜索引擎设计[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
中国博士学位论文全文数据库 前4条
1 贾自艳;Web信息智能获取若干关键问题研究[D];中国科学院研究生院(计算技术研究所);2004年
2 吴丽辉;个性化的Web信息采集技术研究[D];中国科学院研究生院(计算技术研究所);2005年
3 王辉;基于质心具有增量性质的主题爬行[D];吉林大学;2007年
4 宗校军;中文网页定题采集及分类研究[D];华中科技大学;2006年
中国硕士学位论文全文数据库 前10条
1 姚斌;设计和实现一个主题搜索引擎[D];内蒙古大学;2004年
2 王军;中文搜索引擎的设计与实现[D];华中科技大学;2004年
3 丁一;基于Web挖掘的个性化推荐服务研究[D];华中科技大学;2004年
4 何华;搜索引擎中的数据存储问题研究[D];浙江大学;2005年
5 胡卓颖;专题型网页搜集器关键算法的研究及实现[D];江西师范大学;2005年
6 欧歌;专题式Web信息获取技术研究[D];北京化工大学;2005年
7 刘宇波;面向可下载资源的WEB搜索引擎的设计与实现[D];湖南大学;2005年
8 周晔;一种增量式并行Web信息采集系统[D];暨南大学;2005年
9 姜杰;专业搜索引擎分布式Robot设计研究[D];南京师范大学;2005年
10 翟凤红;商品搜索引擎系统[D];吉林大学;2005年
【相似文献】
中国期刊全文数据库 前10条
1 周敬利,向东,余胜生,曾东,顾健;一种异构磁盘系统的数据分配方法[J];小型微型计算机系统;2004年11期
2 高成,王斌锐,谢华龙,徐心和;异构双腿机器人仿生腿的设计与控制实现[J];东北大学学报(自然科学版);2004年11期
3 林鹰,郭兵,杨奕;实时异构监控系统数据平台的集成技术[J];西南师范大学学报(自然科学版);2005年01期
4 傅向华,冯博琴,马兆丰,韩冰;一种异构神经网络集成协同构造算法[J];小型微型计算机系统;2005年04期
5 程艾芝;;异构服务器集群的一种通用负载平衡模型[J];现代计算机;2006年11期
6 肖红;吴迪;;面向网络处理器的软件组件模式[J];计算机工程与设计;2007年15期
7 高雪霞;李宾团;;大数表决在异构冗余数据库结构中的应用研究[J];微计算机信息;2009年15期
8 印国成;;联机分析在公共财政管理中的应用[J];福建电脑;2009年05期
9 左怀远;米根锁;;XML与数据库交互技术的研究及实现[J];兰州交通大学学报;2009年03期
10 岑健林;何蕴毅;;分布式异构教学资源库管理系统的设计[J];中国电化教育;2009年06期
中国重要会议论文全文数据库 前10条
1 刘宝良;李建中;;crlib:可交互异构Crawler框架的设计与实现[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
2 陈志兵;瞿兆荣;;异构、自治型系统的联邦及其事务对策[A];第十届全国数据库学术会议论文集[C];1992年
3 王兰成;敖毅;;基于COM及XML技术的异构数据库检索应用研究[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
4 吴冬冬;解利伟;安学军;;1U9P异构多核服务器节点设计[A];第十五届计算机工程与工艺年会暨第一届微处理器技术论坛论文集(A辑)[C];2011年
5 胡胜;张志华;谭明伟;;馏份油加氢异构催化剂的开发[A];第1届全国工业催化技术及应用年会论文集[C];2004年
6 孙旭东;王爱玲;;基于XML异构网络环境的PDM系统的研究[A];人才、创新与老工业基地的振兴——2004年中国机械工程学会年会论文集[C];2004年
7 许伟成;姚亚明;余立军;林志军;;广域网下异构远程数据库的包装入网技术[A];中国土木工程学会计算机应用分会第七届年会论文集[C];1999年
8 洪永强;陈永波;蒋红霞;;异构数控设备DNC系统的通信网络设计[A];首届信息获取与处理学术会议论文集[C];2003年
9 席政;毕英杰;欧阳树;纪扬;李文兵;;异构数据源统一访问技术的研究与实践[A];冶金企业MES和ERP技术实践论文集[C];2005年
10 刘方;;异构SAP系统迁移实践[A];第十届中国科协年会科技创新与工业强市战略论坛论文汇编[C];2008年
中国重要报纸全文数据库 前10条
1 本报记者 陈翔;赛门铁克异构的力量[N];中国计算机报;2010年
2 本报记者 孙永杰;高性能计算:走向多核异构 面临能耗挑战[N];中国电子报;2008年
3 山东省无棣县第二实验学校 贾兆英;“同课异构”让课堂更精彩[N];学知报;2011年
4 潮州市城南实验中学 林晓冬;让“同课异构”这朵“奇葩”绽放异彩[N];潮州日报;2011年
5 天津市静海一中副校长 张希彬;“同课异构”贵在“异构”[N];中国教育报;2007年
6 记者魏颖 通讯员李会红;两岸教师 同课异构[N];天津教育报;2010年
7 ;IBM 异构容灾解决方案中心成立[N];人民邮电;2005年
8 谢春颖;建立异构SAN的挑战[N];网络世界;2001年
9 天津市教育科学研究院 王敏勤;如何评价“同课异构”的课[N];中国教育报;2007年
10 山西省晋城一中 陈铁补;提高教学“求异”能力的好方法[N];中国教育报;2007年
中国博士学位论文全文数据库 前10条
1 简(王争)峰;基于XML的异构产品信息网上交换、检索技术研究与应用[D];浙江大学;2002年
2 程传慧;大型复杂组合式P2P网络系统的研究[D];武汉理工大学;2006年
3 薛云皎;基于智能主体的分布式构件库相关技术研究[D];复旦大学;2006年
4 魏迎旭;正丁烷一步异构脱氢反应及金属—分子筛双功能催化作用的研究[D];中国科学院大连化学物理研究所;2001年
5 郑念军;论体能主导类项群(田径、举重)运动员下肢蹬伸力量能力的同元异构特征[D];北京体育大学;2002年
6 林志刚;天然β-咔啉衍生物合成及其活性研究[D];复旦大学;2003年
7 俞时;异构资源中基于本体的信息互操作性研究[D];东华大学;2003年
8 凡启飞;高性能嵌入式处理器低功耗技术研究[D];中国科学技术大学;2009年
9 熊伟;结构化对等网络路由机制关键技术研究[D];湖南大学;2008年
10 高翔;多核处理器的访存模拟与优化技术研究[D];中国科学技术大学;2007年
中国硕士学位论文全文数据库 前10条
1 廖汗成;基于SOAP的异构应用集成程序体系结构的设计[D];江西师范大学;2004年
2 张志柳;多异构电力信息系统动态数据复制与链接技术的研究[D];武汉大学;2004年
3 王艳华;基于中间件技术的分布式数据集成研究与实现[D];武汉理工大学;2006年
4 刘强;基于中间件技术的异构数据集成[D];河南大学;2003年
5 王志琪;基于异构监控平台的远程监测系统的研究与实现[D];武汉科技大学;2003年
6 孙宇;脱氧核酶的温度依赖异构化研究[D];吉林大学;2009年
7 李菊;异构工程数据库互操作的研究[D];华北工学院;2003年
8 李川;模拟电力市场中基于异构信息源的地区级考核系统研究[D];武汉大学;2004年
9 黄大科;分布式异构数据源查询与优化[D];清华大学;2004年
10 金楠;异构数据复制的研究与实现[D];吉林大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026