收藏本站
《第九届中国通信学会学术年会论文集》2012年
收藏 | 手机打开
二维码
手机客户端打开本文

MapReduce本地优先作业调度策略研究与实现

华中杰  徐锡山  杨树强  田胜利  
【摘要】:现在MapReduce并行计算模型在不同场景下得到了广泛使用。由于网络I/O传输速度通常远小于磁盘读取速度,所以Map任务的本地执行可以提高系统的吞吐率,减少作业执行时间。但是在多作业情况下,由于作业数据分布的随机性,Map任务的本地执行可能会产生负载不均衡的问题。本文提出了一种基于本地优先的作业调度策略,实现Map任务的完全本地化的同时通过优化作业调度,最大限度地实现了节点间的负载均衡。
【作者单位】:国防科学技术大学
【分类号】:TP338.6

【引证文献】
中国期刊全文数据库 前1条
1 崔云飞;李新明;李艺;刘东;;数据密集型应用中多优先级用户资源调度研究[J];计算机科学与探索;2013年10期
【参考文献】
中国期刊全文数据库 前3条
1 李明;胥光辉;戢瑶;;MapReduce编程模型在网络I/O密集型程序中的应用研究[J];计算机应用研究;2011年09期
2 王凯;吴泉源;杨树强;;一种多用户MapReduce集群的作业调度算法的设计与实现[J];计算机与现代化;2010年10期
3 林子雨;赖永炫;林琛;谢怡;邹权;;云数据库研究[J];软件学报;2012年05期
【共引文献】
中国期刊全文数据库 前10条
1 胡光民;周亮;柯立新;;基于Hadoop的网络日志分析系统研究[J];电脑知识与技术;2010年22期
2 开华东;田琪;;基于MapReduce集群的加权公平队列调度算法研究[J];电脑知识与技术;2011年09期
3 李鑫;张鹏;;Hadoop集群公平调度算法的改进与实现[J];电脑知识与技术;2012年01期
4 王皎;刘闫锋;;Hadoop集群参数的自动调优[J];电脑知识与技术;2012年12期
5 王锴;施水才;王涛;吕学强;;基于MapReduce的术语权重计算方法研究[J];电信科学;2011年11期
6 曾理;王以群;;Hadoop集群和单机数据处理的耗时对比实验[J];硅谷;2009年19期
7 陈玉云;柳先辉;赵晓东;;基于Hadoop平台资源调度策略的研究[J];电脑知识与技术;2012年19期
8 邹世军;赵红武;;基于Hadoop集群的加权循环算法的研究[J];工业控制计算机;2012年10期
9 胡涛;;基于MapReduce模型遗传算法的一种改进与实现[J];电子设计工程;2013年05期
10 陈崇成;林剑峰;吴小竹;巫建伟;连惠群;;基于NoSQL的海量空间数据云存储与服务方法[J];地球信息科学学报;2013年02期
中国重要会议论文全文数据库 前5条
1 田胜利;徐锡山;杨树强;华中杰;;针对HBase的MapReduce访问接口的优化[A];第九届中国通信学会学术年会论文集[C];2012年
2 付伟;白永超;辛阳;;一种基于Hadoop和K-means的Web日志分析方案的设计[A];第十九届全国青年通信学术年会论文集[C];2014年
3 宁君;杨丽芳;覃琳;;基于MapReduce编程模型的性能测试框架研究[A];广西计算机学会2014年学术年会论文集[C];2014年
4 罗艳;龙波;吴彩荣;张明;;基于异构数据源的云数据库系统研究[A];广西计算机学会2014年学术年会论文集[C];2014年
5 钱涛;薛益赵;谢波超;;基于nagios的Hadoop集群性能监控[A];浙江省电子学会2014学术年会论文集[C];2014年
中国博士学位论文全文数据库 前5条
1 景旭;管理型SaaS信息安全关键技术研究[D];西北农林科技大学;2013年
2 郭羽成;MPI高性能云计算平台关键技术研究[D];武汉理工大学;2013年
3 张鹏;形式化方法在云计算中的应用研究[D];吉林大学;2014年
4 黄风华;云环境下基于并行支持向量机的高光谱影像分类研究[D];福建师范大学;2014年
5 徐辰;键值存储系统中的质量感知调度[D];华东师范大学;2014年
中国硕士学位论文全文数据库 前10条
1 吴贵鑫;云计算中的MapReduce并行编程模式研究[D];河南理工大学;2010年
2 杨义彬;基于云计算的分布式处理框架的研究与设计[D];电子科技大学;2011年
3 施岩;云计算研究及Hadoop应用程序的开发与测试[D];北京邮电大学;2011年
4 李波;基于Hadoop的海量图象数据管理[D];华东师范大学;2011年
5 任萱萱;基于Hadoop平台的作业调度研究[D];天津师范大学;2011年
6 陈艳金;MapReduce模型在Hadoop平台下实现作业调度算法的研究和改进[D];华南理工大学;2011年
7 杨永刚;云计算下关联分类技术的研究与实现[D];电子科技大学;2011年
8 孔舟;分布式虚拟化计算平台高可靠任务拆分系统的设计与实现[D];电子科技大学;2011年
9 陈璐;基于云计算的海量数据存储技术的研究及应用[D];武汉科技大学;2011年
10 刘娜;基于MapReduce的数据挖掘算法在全国人口系统中的应用[D];首都经济贸易大学;2011年
【同被引文献】
中国期刊全文数据库 前1条
1 金嘉晖;罗军舟;宋爱波;东方;;基于数据中心负载分析的自适应延迟调度算法[J];通信学报;2011年07期
中国硕士学位论文全文数据库 前1条
1 王凯;MapReduce集群多用户作业调度方法的研究与实现[D];国防科学技术大学;2010年
【二级参考文献】
中国期刊全文数据库 前5条
1 栾亚建;黄翀民;龚高晟;赵铁柱;;Hadoop平台的性能优化研究[J];计算机工程;2010年14期
2 陈全;邓倩妮;;云计算及其关键技术[J];计算机应用;2009年09期
3 张建勋;古志民;郑超;;云计算研究进展综述[J];计算机应用研究;2010年02期
4 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期
5 冯登国;张敏;张妍;徐震;;云计算安全研究[J];软件学报;2011年01期
中国硕士学位论文全文数据库 前1条
1 孟令芬;pc集群作业调度算法研究[D];中国石油大学;2009年
【相似文献】
中国期刊全文数据库 前3条
1 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期
2 李远方;贾时银;邓世昆;韩月阳;;基于树结构的MapReduce模型[J];计算机技术与发展;2011年08期
3 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[J];北京邮电大学学报;2014年S1期
中国重要会议论文全文数据库 前2条
1 郑宇瀚;郭燕慧;;一种针对流水线任务的云计算模型基于MapReduce的改进[A];2013年中国信息通信研究新进展论文集[C];2014年
2 华中杰;徐锡山;杨树强;田胜利;;MapReduce本地优先作业调度策略研究与实现[A];第九届中国通信学会学术年会论文集[C];2012年
中国硕士学位论文全文数据库 前5条
1 张琦;基于MapReduce的分布式规则匹配系统的研究与实现[D];浙江大学;2011年
2 吴贵鑫;云计算中的MapReduce并行编程模式研究[D];河南理工大学;2010年
3 杨玲;面向云计算的MapReduce并行编程模式的研究与应用[D];湖南大学;2011年
4 刘知俊;面向性能调优的MapReduce集群模拟器的研究与设计[D];杭州电子科技大学;2013年
5 周飞凤;MapReduce在科学计算中的研究与改进[D];安徽大学;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026