收藏本站
《第九届中国通信学会学术年会论文集》2012年
收藏 | 手机打开
二维码
手机客户端打开本文

针对HBase的MapReduce访问接口的优化

田胜利  徐锡山  杨树强  华中杰  
【摘要】:现有的HBase提供的MapReduce访问接口存在数据读取速度较慢的问题。针对此问题本文提出了一种改进方法,该方法不以原来的逻辑存储单元Region作为任务分配的基本单位,而是以HBase的物理存储单元Block作为任务分配的基本单位,并通过适当的调度策略,使得Map计算能够在数据所在节点执行。实验结果表明:该方法克服了原有接口无法保证数据本地性的问题,减少了网络开销,提高了访问速率。

【参考文献】
中国期刊全文数据库 前2条
1 林子雨;赖永炫;林琛;谢怡;邹权;;云数据库研究[J];软件学报;2012年05期
2 孙广中;肖锋;熊曦;;MapReduce模型的调度及容错机制研究[J];微电子学与计算机;2007年09期
【共引文献】
中国期刊全文数据库 前10条
1 胡光民;周亮;柯立新;;基于Hadoop的网络日志分析系统研究[J];电脑知识与技术;2010年22期
2 李鑫;张鹏;;Hadoop集群公平调度算法的改进与实现[J];电脑知识与技术;2012年01期
3 王锴;施水才;王涛;吕学强;;基于MapReduce的术语权重计算方法研究[J];电信科学;2011年11期
4 曾理;王以群;;Hadoop集群和单机数据处理的耗时对比实验[J];硅谷;2009年19期
5 胡涛;;基于MapReduce模型遗传算法的一种改进与实现[J];电子设计工程;2013年05期
6 陈崇成;林剑峰;吴小竹;巫建伟;连惠群;;基于NoSQL的海量空间数据云存储与服务方法[J];地球信息科学学报;2013年02期
7 刘洁;王哲;;基于大数据的电信运营商业务精确运营平台的构建[J];电信科学;2013年03期
8 万勇;;一种基于云计算技术的SCADA系统设计[J];高压电器;2013年07期
9 李成华;张新访;金海;向文;;MapReduce:新型的分布式并行计算编程模型[J];计算机工程与科学;2011年03期
10 汪竹;梅林;李磊;赵太银;胡光岷;;适应大规模数据处理的动态服务私有云系统[J];计算机应用;2012年04期
中国重要会议论文全文数据库 前1条
1 华中杰;徐锡山;杨树强;田胜利;;MapReduce本地优先作业调度策略研究与实现[A];第九届中国通信学会学术年会论文集[C];2012年
中国硕士学位论文全文数据库 前10条
1 吴贵鑫;云计算中的MapReduce并行编程模式研究[D];河南理工大学;2010年
2 施岩;云计算研究及Hadoop应用程序的开发与测试[D];北京邮电大学;2011年
3 李波;基于Hadoop的海量图象数据管理[D];华东师范大学;2011年
4 陈艳金;MapReduce模型在Hadoop平台下实现作业调度算法的研究和改进[D];华南理工大学;2011年
5 杨永刚;云计算下关联分类技术的研究与实现[D];电子科技大学;2011年
6 孔舟;分布式虚拟化计算平台高可靠任务拆分系统的设计与实现[D];电子科技大学;2011年
7 陈璐;基于云计算的海量数据存储技术的研究及应用[D];武汉科技大学;2011年
8 刘娜;基于MapReduce的数据挖掘算法在全国人口系统中的应用[D];首都经济贸易大学;2011年
9 李远方;基于云计算的Web结构挖掘算法研究[D];云南大学;2011年
10 曹挹芬;分布式文件存储与检索平台的设计与实现[D];湖南大学;2009年
【二级参考文献】
中国期刊全文数据库 前2条
1 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期
2 冯登国;张敏;张妍;徐震;;云计算安全研究[J];软件学报;2011年01期
【相似文献】
中国期刊全文数据库 前10条
1 朱晋安;新型电容传感器接口及其应用[J];河海大学常州分校学报;1997年04期
2 薛雷;CAN总线的数据帧结构及接口设计[J];洛阳师范学院学报;1999年02期
3 庞晓晖,胡修林,张蕴玉,胡炜;高速数据采集系统的设计与实现[J];仪器仪表学报;2000年03期
4 孙贵红,鲍可进;高速数据采集系统的设计[J];微计算机信息;2001年02期
5 郑伟,傅佳旭,王力杰,张礼勇;模拟传感器与数字计算机间的新型接口[J];传感器技术;2002年04期
6 胡强,赵英凯;OPC技术在DCS与工厂管理网数据通讯中的应用[J];工业仪表与自动化装置;2002年03期
7 熊仁军,翟景旺,姜光明,张宝玉,朱保国;USB接口在工程机械状态监测系统中的应用[J];工程机械;2003年02期
8 邹云涛,吴重光;OPC技术初探及国内应用现状[J];石油化工自动化;2003年06期
9 陈天钧;数字仪表与IBM—PC的接口问题[J];华南师范大学学报(自然科学版);1987年02期
10 马云龙;可编程序控制器在1450冷轧机上的应用[J];轻合金加工技术;1998年02期
中国重要会议论文全文数据库 前10条
1 何剑虎;周庆利;;实验室信息系统的接口标准[A];2009年浙江省医学工程学术年会论文汇编[C];2009年
2 石玉平;何银南;郭俊杰;张琳;;机电测控系统调用Matlab函数的实现[A];制造技术自动化学术会议论文集[C];2002年
3 郑典萍;刘刚;;基于掌上电脑的通用数据采集系统[A];中国数字农业与农村信息化学术研究研讨会论文集[C];2005年
4 郭完义;马雄;;营销自动化与负控及集抄系统的无缝连接[A];2005中国电机工程学会电力系统自动化专委会全国供用电管理自动化学术交流暨供用电管理自动化学科组第二届年会论文集[C];2005年
5 郭俊杰;陈一军;;组件技术在测量与控制系统中的应用与研究[A];制造技术自动化学术会议论文集[C];2002年
6 许(王莹);黎晓东;张利萍;;ISO 20242-测试应用的服务接口简介 用于测量和自动化系统中设备集成的一种新的国际标准[A];先进制造技术论坛暨第三届制造业自动化与信息化技术交流会论文集[C];2004年
7 杨正升;马艳芳;张增军;邸红霞;权万红;;西门子工业通讯在宣钢高炉自控系统中的应用[A];第七届(2009)中国钢铁年会论文集(下)[C];2009年
8 刘卫宏;潘仲韬;张力琼;;基于89C51单片机和Max528DAC的低本底α β测量数据采集卡[A];第8届全国核电子学与核探测技术学术年会论文集(二)[C];1996年
9 高宗海;秦波;李大成;林盘;;USB技术及其在数据采集系统中的应用[A];制造技术自动化学术会议论文集[C];2002年
10 何剑虎;周庆利;;实验室信息系统的接口标准[A];中华医学会医学工程学分会第十次学术年会暨2009中华临床医学工程及数字医学大会论文集[C];2009年
中国重要报纸全文数据库 前9条
1 山东 聂阳文;基于USB接口的大容量数据采集存储系统设计[N];电子报;2010年
2 周昊;SanDisk Cruzer Color+U盘[N];中国计算机报;2008年
3 广西 张琼厦;串口通信的基本概念(上)[N];电子报;2009年
4 新疆 苏锐生;广播发射机自动化控制常用模式(上)[N];电子报;2010年
5 通讯员 胡园园;宁东供电将推广PDA智能巡检仪[N];宁夏日报;2008年
6 山东 申世忠;THM5660数控机床检修一例[N];电子报;2009年
7 记者 卢博林;一把指纹钥匙能开无数把锁[N];深圳商报;2009年
8 记者 刘霞;光学传感器能使大脑直接控制义肢[N];科技日报;2010年
9 湖南 杨外明;条屏控制卡工作原理[N];电子报;2011年
中国博士学位论文全文数据库 前1条
1 赵青;面向海量数据的高效天文交叉证认的研究[D];天津大学;2010年
中国硕士学位论文全文数据库 前10条
1 高育鹏;嵌入式网络测控服务器的研究与实现[D];西北工业大学;2006年
2 王国宁;基于嵌入式Internet的CAN总线远程监控系统的研究与实现[D];东华大学;2006年
3 韩冲;基于DSP的嵌入式测控系统的设计与实现[D];西北工业大学;2006年
4 吴瑞;基于遗传算法的模糊神经网络控制器的优化以及MATLAB与VC数据交换的研究[D];西安理工大学;2007年
5 杨廷;基于CAN总线的IC卡门禁控制系统[D];天津大学;2007年
6 刘红;通用CompactPCI/PXI接口技术研究[D];四川大学;2005年
7 朱涛;以太网与CAN总线通讯接口技术研究[D];武汉理工大学;2006年
8 林凡强;RFID技术在灾害监测与预警系统中的应用[D];成都理工大学;2006年
9 付天新;基于MapReduce模型的生态遥感参数反演并行化方法与实现[D];兰州交通大学;2012年
10 汪晶晶;基于MapReduce的天文数据处理方法与应用研究[D];昆明理工大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026