收藏本站
《CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集》2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Map/Reduce的分布式Web服务搜索引擎设计与实现

陶冶  刘建勋  唐明董  
【摘要】：介绍了一种基于Map/Reduce的分布式Web服务搜索引擎的设计与实现,使用Hadoop作为计算和存储框架。可以充分利用大规模PC集群的计算能力实现对分布在互联网上的开放Web服务的搜索和发现。运行效果表明,针对Web服务的垂直搜索可以获取大量Web服务,为后续的Web服务管理、组合、测试等研究提供了必要的数据和工作基础。
【作者单位】：湖南科技大学知识处理与网络化制造湖南省普通高校重点实验室 湖南科技大学计算机科学与工程学院
【基金】：国家自然科学基金(90818004) 教育部新世纪优秀人才支持计划项目(NCET-10-0140) 湖南省教育厅重点实验室开放基金项目(09K085)资助
【分类号】：TP393.09

【参考文献】
中国硕士学位论文全文数据库 前1条
1 巢炼;基于图理论的Web服务发现方法研究[D];湘潭大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 王刚;邓微波;陈世福;王云;;一种基于Web Services的事务流中间件模型[J];成都信息工程学院学报;2005年06期
2 朱夏;王茜;;异构系统间数据交换模型的设计与实现[J];东南大学学报(自然科学版);2006年02期
3 季一木;王汝传;王海艳;;网格技术在电信中的应用研究[J];电信科学;2006年02期
4 刘红文;;浅谈Web Service技术[J];福建电脑;2007年03期
5 张晶;李佑钢;杨建国;林报嘉;孙久虎;;治理车辆双超智能管理信息平台的研究及实现[J];公路交通科技;2007年06期
6 吴功和;刘真;;基于GIS Web Service的WebGIS应用[J];华北水利水电学院学报;2006年01期
7 金莹,邹立娣;一种支持Qos约束的Web服务模型框架及实现[J];合肥学院学报(自然科学版);2005年03期
8 尹向东;SOAP及在Web服务中的实现[J];湖南科技学院学报;2005年11期
9 蒋运承;史忠植;;OWL-S的形式语义[J];计算机科学;2005年07期
10 方馨馨,熊齐邦;基于P2P网络的语义Web服务发现机制[J];计算机工程;2005年17期
中国重要会议论文全文数据库 前10条
1 陈彦萍;李增智;夏虹;朱海萍;;服务质量驱动的Web服务组合框架的设计与实现[A];2006年全国通信软件学术会议论文集[C];2006年
2 李宏伟;李勤超;蔡畅;;基于OWL-S的地理信息服务语义描述研究[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年
3 薛海丽;樊永生;韩燮;;下一代网络结构和关键技术分析[A];AECC专题学术研讨会论文集[C];2007年
4 张艳梅;;基于Overlay网络的服务组合研究综述[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（上）[C];2006年
5 吴家菊;刘刚;席传裕;;Web服务数据的二次处理[A];第二届全国信息与电子工程学术交流会暨第十三届四川省电子学会曙光分会学术年会论文集[C];2006年
6 栾衡;张世栋;隋琪;;一种基于服务功能社区的规划算法[A];2005年全国理论计算机科学学术年会论文集[C];2005年
7 薛庆;张世栋;隋琪;;一种基于服务关联的Web服务发现算法[A];2005年全国理论计算机科学学术年会论文集[C];2005年
8 李跃军;田田;马军;;Web服务发现技术的研究[A];2005年全国理论计算机科学学术年会论文集[C];2005年
9 刘兴伟;崔晓红;;UDDI的语义扩展及分布式实现[A];2006年全国开放式分布与并行计算学术会议论文集（一）[C];2006年
10 钱竹青;谭庆平;刘峰;杨艳萍;;基于本体论和标记图相似性的Web服务匹配算法[A];2006年全国开放式分布与并行计算学术会议论文集（二）[C];2006年
中国博士学位论文全文数据库 前10条
1 安杨;基于本体的网络地理服务中的关键问题研究[D];武汉大学;2005年
2 严亚兰;基于语义Web的知识处理研究[D];武汉大学;2005年
3 周娜;基于Web的制造业电子商务平台关键技术的研究与应用[D];南京航空航天大学;2005年
4 唐宇;空间信息栅格（SIG）系统框架、服务体系与服务聚合技术研究[D];国防科学技术大学;2004年
5 张霞;地理信息服务组合与空间分析服务研究[D];武汉大学;2004年
6 南凯;面向关系型数据共享的数据网格中间件研究[D];中国科学院研究生院（计算技术研究所）;2006年
7 房俊;支持最终用户编程的服务虚拟化方法研究[D];中国科学院研究生院（计算技术研究所）;2006年
8 张程;面向服务环境中服务的个性化推荐[D];中国科学院研究生院（计算技术研究所）;2006年
9 陈荦;分布式地理空间数据服务集成技术研究[D];国防科学技术大学;2005年
10 任光杰;基于网格环境的远程学习管理研究[D];华南师范大学;2006年
中国硕士学位论文全文数据库 前10条
1 雷刚跃;基于Web服务的开放实验室综合信息处理平台及关键技术研究[D];中南大学;2005年
2 王任;面向校园网的信息资源共享方案的研究[D];湖南大学;2006年
3 欧阳纯萍;实施面向服务体系结构（SOA）关键技术的研究[D];广西大学;2007年
4 陈志英;基于BPEL4WS的业务流程设计方法的研究[D];武汉理工大学;2007年
5 梁慧芝;学习资源库知识服务模型研究[D];西南师范大学;2005年
6 陈皓;电力设备状态检修辅助分析系统的研究与实现[D];西安理工大学;2005年
7 沈安林;基于WEB的数字监控系统研究与实现[D];西北工业大学;2005年
8 何明鑫;Web服务的会话模型和会话管理器研究[D];河海大学;2005年
9 龚哲兵;基于Web Service的Car-CRM的研究与实现[D];南京航空航天大学;2005年
10 刘媛媛;基于Agent的Web服务组合研究[D];南京航空航天大学;2005年
【二级参考文献】
中国期刊全文数据库 前10条
1 李蕾,王楠,张剑,钟义信,郭祥昊,贾自燕;中文搜索引擎概念检索初探[J];计算机工程与应用;2000年06期
2 左雄辉,糜麒;个性化搜索引擎研究[J];计算机工程与应用;2005年17期
3 赵仲孟,袁薇,何世丽,沈钧毅;个性化搜索引擎中用户模型智能调整算法的研究[J];计算机工程与应用;2005年24期
4 马晓星 ,余萍 ,陶先平 ,吕建;一种面向服务的动态协同架构及其支撑平台[J];计算机学报;2005年04期
5 胡建强,邹鹏,王怀民,周斌;Web服务描述语言QWSDL和服务匹配模型研究[J];计算机学报;2005年04期
6 杨文军,李涓子,王克宏;领域自适应的Web服务评价模型[J];计算机学报;2005年04期
7 姜瑛,辛国茂,单锦辉,张路,谢冰,杨芙清;一种Web服务的测试数据自动生成方法[J];计算机学报;2005年04期
8 吴健,吴朝晖,李莹,邓水光;基于本体论和词汇语义相似度的Web服务发现[J];计算机学报;2005年04期
9 吴友政,赵军,段湘煜,徐波;问答式检索技术及评测研究综述[J];中文信息学报;2005年03期
10 曾春,邢春晓,周立柱;基于内容过滤的个性化搜索算法[J];软件学报;2003年05期
【相似文献】
中国期刊全文数据库 前10条
1 何鹏,徐立臻,庄晓青;模糊聚类在Web信息检索中的应用研究[J];计算机工程;2002年10期
2 赵力;;网站全文搜索引擎技术的初步研究及应用[J];科技信息;2009年11期
3 严良达;;基于Lucene搜索引擎的设计与实现[J];宁波职业技术学院学报;2009年02期
4 李俊青;季文天;彭菊萍;;局域网FTP搜索引擎的建立[J];计算机与信息技术;2007年09期
5 龚鸣敏;;Web搜索引擎的设计和实现[J];软件导刊;2006年07期
6 孙鉴亮;;智能型搜索引擎[J];科技咨询导报;2007年15期
7 庞士梅;;覆盖聚类在Web信息检索中的应用研究[J];大学图书情报学刊;2006年04期
8 李秀学;;智能型搜索引擎研究[J];软件导刊;2006年15期
9 刚春燕;吴恩斯;;基于MAS兴趣模型的搜索引擎设计[J];计算机与信息技术;2009年04期
10 吴若健;;Web行为分析在搜索引擎精准营销中的应用[J];现代经济信息;2009年14期
中国重要会议论文全文数据库 前10条
1 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年
2 陶冶;刘建勋;唐明董;;基于Map/Reduce的分布式Web服务搜索引擎设计与实现[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
3 殷华蓓;李通;唐常杰;张天庆;左志松;;从Web文件中挖掘个性化导航知识[A];第十七届全国数据库学术会议论文集（研究报告篇）[C];2000年
4 姚静;郑佳谦;徐隽;牛军钰;;Intranet中Web对象的属性挖掘[A];第二十五届中国数据库学术会议论文集（二）[C];2008年
5 袁柳;李战怀;;基于语义搜索的Web服务匹配[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年
6 邓志鸿;张铭;陈捷;杨冬青;唐世渭;;基于本体的Web信息检索模型初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年
7 石晶;龚震宇;裘杭萍;;基于Web挖掘的个性化服务技术[A];第十九届全国数据库学术会议论文集（技术报告篇）[C];2002年
8 雷景生;康耀红;;基于模糊相关的Web文档分类方法[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年
9 买买提依明·哈斯木;维尼拉·木沙江;;研究维吾尔文Web文档聚类算法设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
10 李利波;刘明利;;一种改进的无回溯反向Web服务动态组合方法[A];2011年全国通信安全学术会议论文集[C];2011年
中国重要报纸全文数据库 前10条
1 本报记者 边歆;八大安全威胁预示Web安全新变化[N];网络世界;2010年
2 边歆;动态阻断Web2.0威胁[N];网络世界;2009年
3 ;HTML5[N];人民邮电;2010年
4 ;有关社交Web的安全建议[N];网络世界;2009年
5 本报记者 汤浔芳;企业级Web 2.0很难突破10%[N];计算机世界;2010年
6 赵晓涛;Web安全 服务为王[N];网络世界;2008年
7 本报记者 赵晓涛;Web安全：历史的命题[N];网络世界;2008年
8 彭敏;企业级Web2.0迎来应用高潮[N];电脑商报;2009年
9 本报记者 毛江华;安启华联手赛门铁克 掘金Web安全[N];计算机世界;2009年
10 闫冰;“推”出Web交付新天地[N];网络世界;2009年
中国博士学位论文全文数据库 前10条
1 许笑;分布式Web信息采集关键技术研究[D];哈尔滨工业大学;2011年
2 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
3 孙静宇;基于CBR的协同Web搜索研究[D];太原理工大学;2010年
4 钟美;基于Web的空间本体构建方法研究[D];武汉大学;2010年
5 朱鲲鹏;基于Web日志挖掘的智能信息检索研究[D];哈尔滨工业大学;2009年
6 张建武;面向Web应用的安全评测技术研究[D];北京邮电大学;2012年
7 朱俊武;基于本体的Web服务语义支撑技术研究[D];南京航空航天大学;2008年
8 李常宝;基于索引的web服务发现研究[D];北京邮电大学;2011年
9 魏登萍;语义Web服务发现中匹配策略的研究与实现[D];国防科学技术大学;2011年
10 杨卉;Web文本观点挖掘及隐含情感倾向的研究[D];吉林大学;2011年
中国硕士学位论文全文数据库 前10条
1 欧建斌;基于Web挖掘与信息分类的个性化搜索引擎研究[D];暨南大学;2010年
2 黄华;基于搜索引擎和语义的Web服务发现研究[D];武汉理工大学;2011年
3 李建林;基于Lucene的Web搜索引擎的研究[D];兰州理工大学;2010年
4 王伟;搜索引擎下Web分类技术研究[D];内蒙古科技大学;2011年
5 周晔;一种增量式并行Web信息采集系统[D];暨南大学;2005年
6 王磊;基于Web数据挖掘的搜索引擎设计与实现[D];解放军信息工程大学;2010年
7 马恩穹;基于Web数据挖掘的个性化搜索引擎研究[D];南京理工大学;2012年
8 廖继东;基于DotLucene网站全文搜索系统的实现[D];郑州大学;2007年
9 刘平冰;基于Lucene的Web站内信息搜索系统[D];电子科技大学;2005年
10 林子熠;基于模板的Web新闻搜索技术的研究与实现[D];上海交通大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026

同方知网数字出版技术股份有限公司
地址：北京清华大学 84-48信箱 大众知识服务
京ICP证040441号
京公网安备11010802020475号

订购热线：400-819-9993 010-62982499
服务热线：010-62985026 010-62791813
在线咨询：http://help.cnki.net
传真：010-62780361