收藏本站
《2011电力通信管理暨智能电网通信技术论坛论文集》2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop的海量数据处理平台研究

丁辉  张大华  罗志明  
【摘要】:国网公司提出了建设坚强智能电网和三集五大体系的重大举措,要求信息化在继承已有成果、深化应用的基础上,进一步全面提升,再上水平。尤其对电网海量信息数据处理、数据搜索等提出很高的要求,为了应对智能电网对海量数据处理的迫切需求,本文通过对Hadoop的HDFS和MapReduce两个核心关键技术深入分析研究的基础上,提出了在虚拟化资源管理平台上搭建基于Hadoop的动态可伸缩的海量数据处理原型平台,并给出其技术架构、实施方案以及实例分析,最后对海量数据处理平台的优势进行分析。与传统基于物理机部署的Hadoop分布式并行计算系统相比,通过虚拟化平台创建Hadoop虚拟服务器模板,不仅可以快速完成Hadoop分布式并行计算系统的部署,而且可以有效利用计算资源。
【作者单位】:中国电力科学研究院
【分类号】:TP274;TM76

【相似文献】
中国期刊全文数据库 前10条
1 商新娜;;Web应用中的海量数据访问缓存技术[J];北京联合大学学报(自然科学版);2007年03期
2 文永亮;孟文;王艳秋;王文玺;;基于MySQL 5的SCADA海量数据的存储方法研究[J];电力系统保护与控制;2009年12期
3 孟斌;王亮;;高并发和海量数据的地图服务系统设计与关键技术[J];重庆工学院学报(自然科学版);2009年04期
4 陈骐;张勇;徐州;;一种新型试飞数据处理系统的应用研究[J];计算机应用与软件;2010年11期
5 郭晶;顾胜;陈定辉;;空间环境对神舟飞船轨道衰减影响分析[J];航天器工程;2008年06期
6 杨晓斌;;海量水文数据处理和管理技术的探讨[J];中国农村水利水电;2010年08期
7 韩海花;王孝广;刘佩贤;赵燕;;海量数据批量写库方法的研究与实现[J];制造业自动化;2011年09期
8 刁学敏;李杨;郭永林;;飞行试验数据处理系统平台设计与实现[J];硅谷;2011年15期
9 杨小忠;梁德成;刘士彬;;Envisat ASAR数据共享平台的设计与实现[J];遥感信息;2006年05期
10 周兴斌;迟殿委;;一种Apriori算法的改进[J];南昌大学学报(工科版);2008年02期
中国重要会议论文全文数据库 前10条
1 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
2 张坜;孙国强;;集装箱运输系统ETL的设计与实现[A];第七届全国信息获取与处理学术会议论文集[C];2009年
3 张丽艳;庄海军;聂军洪;;基于海量数据测量的逆向工程与快速原型集成技术研究[A];特种加工技术——2001年中国机械工程学会年会暨第九届全国特种加工学术年会论文集[C];2001年
4 陈建海;王建弟;李子川;;基于数据仓库的地籍管理信息系统框架设计[A];地理空间信息技术及其应用论坛论文集[C];2005年
5 陈建海;王建弟;李子川;;基于数据仓库的地籍管理信息系统框架设计[A];中国地理信息系统协会第九届年会论文集[C];2005年
6 韩伟红;贾焰;杨树强;;TB级海量数据实时加载技术的研究与实现[A];第八届全国信息隐藏与多媒体安全学术大会湖南省计算机学会第十一届学术年会论文集[C];2009年
7 钟志勇;陈映鹰;;海量遥感数据应用方法初探[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
8 陈卓;刘晓平;;关于BISONC程序的交互式数据处理及科学计算的可视化[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年
9 李学军;;利用CASS地形图建立MapInfo数据库的探讨[A];2007'全国测绘科技信息交流会暨信息网成立30周年庆典论文集[C];2007年
10 李学军;;利用CASS地形图建立MapInfo数据库的探讨[A];中国测绘学会九届三次理事会暨2007年“信息化测绘论坛”学术年会论文集[C];2007年
中国重要报纸全文数据库 前10条
1 安徽电力调度通信中心 袁林;征服电力调度海量数据[N];中国计算机报;2005年
2 ;MSP软件系统:海量数据的归档[N];中国计算机报;2006年
3 郑昊;数据挖掘加工海量数据[N];中国计算机报;2007年
4 任续烨;海量数据我来处理[N];中国计算机报;2004年
5 汪小意;搜数网:从海量数据中搜索未来[N];第一财经日报;2006年
6 子文;ADIC StorNext/SAN存储海量数据[N];通信产业报;2003年
7 记者 冯卫东;美开发出新型纳米内存器件[N];科技日报;2007年
8 记者 尹建军 通讯员 谷洪波;海南构建土地矿产违法线索处理平台[N];中国国土资源报;2011年
9 ;满足海量数据处理[N];网络世界;2004年
10 中兴通讯;云存储铺就海量数据之路[N];通信产业报;2011年
中国博士学位论文全文数据库 前10条
1 赵爽;应用于无线通信基带算法的可重构处理平台及典型算法实现[D];复旦大学;2010年
2 张平;集成化声发射信号处理平台的研究[D];清华大学;2002年
3 王加阳;面向海量数据的粗糙集理论与方法研究[D];中南大学;2005年
4 管群;VR-GIS技术在岩土工程中的应用[D];四川大学;2002年
5 王少荣;电力系统分布式广域同步并行处理平台研究[D];华中科技大学;2004年
6 杜莹;全球多分辨率虚拟地形环境关键技术的研究[D];中国人民解放军信息工程大学;2005年
7 周婧;P2P分布存储系统中海量数据的数据一致性维护技术研究[D];国防科学技术大学;2007年
8 崔滨;海量数据实时三维交互式显示关键技术研究[D];上海大学;2010年
9 庄毅;海量多媒体数据库的高效查询处理[D];浙江大学;2007年
10 陶钧;海量数据P2P分布式稳固存储方法与优化研究[D];国防科学技术大学;2008年
中国硕士学位论文全文数据库 前10条
1 王桂强;海量数据分析处理方法的研究[D];上海交通大学;2010年
2 杨才远;浮标基海量数据高速传输技术研究[D];哈尔滨工程大学;2010年
3 李宇;基于分布式数据库和数据挖掘技术的统计报表系统的分析与设计[D];吉林大学;2006年
4 黄煜;海量数据迁移和报表自动生成的研究和实现[D];上海交通大学;2010年
5 莫映;真三维地理信息系统中海量数据处理技术的应用研究[D];首都师范大学;2004年
6 王璐;MIS系统中集成实时监控系统与三层C/S结构的应用[D];长春理工大学;2002年
7 李文;虚拟天文台环境下的海量数据存储与访问技术研究[D];天津大学;2007年
8 叶冲轶;高维海量数据联合聚类算法的研究与应用[D];浙江工商大学;2010年
9 郭乃明;基于VC++的海洋平台安全保障系统及其数据管理优化设计[D];北京化工大学;2008年
10 杨耀明;海量地形快速绘制技术研究[D];国防科学技术大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026