收藏本站
《第29届中国数据库学术会议论文集(B辑)(NDBC2012)》2012年
收藏 | 手机打开
二维码
手机客户端打开本文

面向MapReduce的非对称分片复制连接算法优化技术研究

潘巍  李战怀  陈群  索博  李卫榜  
【摘要】:连接运算是面向海量数据的复杂分析型任务的核心内容之一,但是目前最具竞争力的分布式并行处理框架MapReduce没有对连接运算提供内在的支持.经分析发现现有的工作无法以既高效又不影响集群负载均衡和容错能力的方式来处理适用面最广的非对称分片复制并行连接算法,因此提出一种基于自适应分片的优化算法AFR-AS.借助自适应分片可以解耦Map任务数与数据集复制代价之间的高度耦合关系.利用自适应分片的动态构造算法,Map任务可以在任务生命周期内处理多个普通分片,从而有效降低任务启动开销以及非对称分片复制连接中的数据广播开销,同时保证了基于普通分片的细粒度负载平衡和容错能力.实验表明,优化技术可以有效提高连接运算性能且具有自适应性.

【参考文献】
中国期刊全文数据库 前1条
1 潘巍;李战怀;伍赛;陈群;;基于消息传递机制的MapReduce图算法研究[J];计算机学报;2011年10期
【共引文献】
中国期刊全文数据库 前2条
1 梁秋实;吴一雷;封磊;;基于MapReduce的微博用户搜索排名算法[J];计算机应用;2012年11期
2 陈亮;东韩;徐凌宇;蔡茂;杜金峰;;基于云平台的软件服务流的实现机制的研究[J];计算机工程与设计;2012年11期
【相似文献】
中国期刊全文数据库 前10条
1 袁宁,聂小春,梁昌洪;有限厚导电平板上任意缝隙的耦合特性分析[J];电波科学学报;1999年03期
2 苏金泉;苏厚勤;;一种关系式JOIN算法的研究与实践[J];计算机应用与软件;2007年06期
3 阳国贵,吴泉源;对象关系数据库中一类特定连接谓词的有效处理方法[J];电子学报;2000年11期
4 聂小春,葛德彪,袁宁;导电平板上任意孔缝的TM波散射及传输特性分析[J];电子与信息学报;2001年02期
5 刘宝良;李建中;高宏;;三级存储系统中一种高效的连接算法[J];计算机研究与发展;2007年01期
6 阳国贵,吴泉源;一个有效处理高价选择谓词的查询优化算法[J];电子学报;2001年02期
7 李建中,张冬冬,张艳秋;基于三级存储器的Join算法[J];软件学报;2003年05期
8 张鹏;冯建华;房志峰;;Native XML数据库的结构连接算法研究[J];计算机应用;2008年04期
9 李永锋;潘懋;;XML发布/订阅数据流系统基于共享的多查询连接算法[J];计算机应用;2008年12期
10 覃遵跃;黄云;;一种基于扩展区间编码的XML结构连接算法[J];计算机系统应用;2009年04期
中国重要会议论文全文数据库 前10条
1 刘喜平;万常选;;兄弟轴的有效楼梯连接算法[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
2 李建新;王国仁;汤南;王斌;于亚新;张海宁;;基于直方图的并行结构连接算法[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
3 王国仁;叶峰;王欣晖;于戈;郑怀远;;NOW环境下并行哈希连接算法的设计与实现[A];第十五届全国数据库学术会议论文集[C];1998年
4 王平;吴爱华;崔鲁光;张绪柱;;IE专业工作研究教学内容的改革[A];制造业与未来中国——2002年中国机械工程学会年会论文集[C];2002年
5 喻泽龙;杨云川;;提高电锌质量的探索与实践[A];中国有色金属学会——第二届青年论坛学术会议论文集[C];2004年
6 吴涛;杜国祥;袁嗣杰;;一种机载实时视频图像压缩与处理系统的设计与实现[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集(上册)[C];2007年
7 陈莉莉;李金宝;任倩倩;;MANET环境下一种利用缓冲的多连接算法[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
8 窦慎;刘彬;;旬邑塬区黄芪高产栽培优化技术试验通报[A];陕西省气象学会2006年学术交流会论文集[C];2006年
9 郭勇庆;张英杰;;瘤胃内环境优化技术及其应用[A];《2009中国牛业进展》论文集[C];2009年
10 张卫红;王丹;;结构优化技术的新进展及其在航空工程中的应用初探[A];中国力学学会学术大会'2009论文摘要集[C];2009年
中国重要报纸全文数据库 前10条
1 ;04交换网络 优化技术建议[N];人民邮电;2003年
2 特约记者 曹默 本报记者 安也致;我们将能耗降低40%[N];中国企业报;2007年
3 胥平;美的携手艾默生共推强制热空调[N];经理日报;2006年
4 特约记者 袁伟 记者 第广龙 通讯员 秦伯平;突破低渗透极限的井网之战[N];中国石油报;2006年
5 本报记者 陈淑芝;追求“最新”打造“更强”[N];中国冶金报;2004年
6 记者 刘志伟;武钢破解炼铁降焦难题[N];科技日报;2006年
7 记者施耀花;做好科学规划 优化技术改造[N];白银日报;2009年
8 深圳商报记者 杨艳珊;优化技术服务[N];深圳商报;2003年
9 本报记者 范毅波;ILOG的“优化”意识[N];网络世界;2005年
10 本报记者 姚耀富;为大型PTA设备装上“智能头脑”[N];中国化工报;2006年
中国博士学位论文全文数据库 前10条
1 王庆;XML约束在XML数据存储、发布和转换中的应用[D];复旦大学;2004年
2 阳国贵;对象关系数据库中若干关键技术的研究[D];中国人民解放军国防科学技术大学;2000年
3 聂小春;电磁散射混合方法及相关问题研究[D];西安电子科技大学;2000年
4 陈刚;数据流的无阻塞连接算法研究[D];华中科技大学;2010年
5 袁宁;Rotman透镜仿真分析与边界元法应用研究[D];西安电子科技大学;1998年
6 王武荣;基于自适应模拟的变压边力优化技术研究[D];上海交通大学;2007年
7 刘洋;高性能优化算法与结构模型修正的研究[D];哈尔滨工业大学;2008年
8 葛宏伟;城市公交停靠站点交通影响分析及优化技术研究[D];东南大学;2006年
9 贾江鸣;面向不确定性的供应链性能优化技术研究[D];浙江大学;2008年
10 王延波;玉米超高产育种理论与实践及优化栽培技术研究[D];沈阳农业大学;2008年
中国硕士学位论文全文数据库 前10条
1 郑超;GPU上并行数据操作技术优化[D];上海交通大学;2010年
2 郭健;多学科设计优化技术研究[D];西北工业大学;2001年
3 马剑虹;EMS行业中面向资源能力平衡的生产计划优化研究[D];上海交通大学;2008年
4 田春霞;三辊行星轧制工艺参数优化技术研究[D];沈阳理工大学;2008年
5 裘晓俊;核磁共振波谱仪检测灵敏度及其优化技术[D];厦门大学;2008年
6 桑俊霞;XML编码及其结构连接算法的研究[D];西南交通大学;2011年
7 朱盛凯;基于MapReduce的科学计算应用性能分析与优化[D];复旦大学;2010年
8 钟颖莉;数据流查询操作算法的研究[D];黑龙江大学;2004年
9 郭松涛;XML结构索引技术及查询优化研究[D];重庆大学;2003年
10 郑琼冬;数据流查询处理算法的研究[D];暨南大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026