收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

面向海量文本数据的多任务并行调度加载技术研究与实现

陈光强  杨树强  张晓辉  李润恒  贾焰  
【摘要】:随着文本数据量的急剧增长,对传统的数据库技术在数据存储、实时数据加载等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量文本数据的存储及管理需求而研制的.根据文本数据的特点,通过对大数据按照其内容和时间等属性进行划分,使得对一批海量数据的加载过程被分解为若干不相关的加载子任务,从而利用合理的并行调度算法使各个加载子任务高度并行执行.MDMP中基于多任务并行调度加载技术提供了高性能的加载.主要研究了多任务并行调度加载技术.

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张婧;李珏峰;;数据挖掘技术在BBS管理中的应用[J];福建电脑;2008年04期
2 大鱼儿;;自动扩展大小的TEdit[J];软件;2001年07期
3 赵春红;刘国华;王柠;何玲玲;;外包数据库模型中文本数据的完整性检测方案[J];小型微型计算机系统;2010年09期
4 仲志平;刘渝妍;翟从鸿;;基于BWC的XML文本数据索引技术[J];安徽师范大学学报(自然科学版);2011年03期
5 仲志平;刘渝妍;孙建洪;;基于BWC的XML文本数据索引技术研究[J];昆明学院学报;2011年03期
6 杜德生;田小军;;Lucene应用中Pdf文档文本数据提取方法研究[J];自动化技术与应用;2009年03期
7 王成强;;基于不平衡数据集的文本分类技术[J];电脑知识与技术;2009年36期
8 孙开放;使用通信控件实现字节通信方式[J];微计算机信息;2002年03期
9 薛冰冰,普杰信;数据挖掘技术及其在电子邮件中的应用[J];信息技术;2003年07期
10 崔时珍;;纯文本数据在VFP中导入导出[J];电脑学习;2009年01期
11 王东兴,冷惠文;大量编程用文本数据的统一处理[J];鞍山钢铁学院学报;1997年06期
12 李文龙;保护文本数据案例的巧妙方法[J];计算机安全;2003年04期
13 ;保护文本数据安全的巧妙方法[J];电脑知识与技术;2003年13期
14 李文龙;保护文本数据安全的巧妙方法[J];网络与信息;2003年04期
15 于得海;王银;;巧借表格向Excel中导入文本数据[J];电脑迷;2006年09期
16 金凤霞;找回损坏磁盘中的文本数据[J];计算机周刊;1997年22期
17 周芝梅,陈志刚,李明山,何小巧;基于数据库的设计资料管理系统[J];南华大学学报(理工版);2001年02期
18 易树鸿;张为群;;一种基于粗集的文本数据特征信息的挖掘方法[J];计算机科学;2002年08期
19 李玉兰,黄海涛;房产图文数据管理技术[J];电脑学习;1996年02期
20 牛冀平;胡志华;余志超;;可扩展XML文本数据自动分析研究与实现[J];计算机技术与发展;2006年03期
中国重要会议论文全文数据库 前10条
1 陈光强;杨树强;张晓辉;李润恒;贾焰;;面向海量文本数据的多任务并行调度加载技术研究与实现[A];第15届全国信息存储技术学术会议论文集[C];2008年
2 蒋勇;陈晓静;;一种多方向手写文本行提取方法[A];第二十七届中国控制会议论文集[C];2008年
3 蔡嘉荣;印鉴;刘玉葆;黄志兰;;一种有效的文本聚类算法[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
4 杨艳;李巍;玄萍;;数字图书馆中基于Ontology的文本模型[A];黑龙江省计算机学会2009年学术交流年会论文集[C];2010年
5 秦燕峰;刘亚军;;基于多文档和动态链接库技术的软件开发方法研究与实现[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
6 唐扬;熊伟;赵锋锐;景宁;;数据库功能扩展技术研究与实现[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
7 童小华;张锦;田根;;基于PDA的嵌入式GIS研究与实现[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年
8 张鹏;李昭原;;基于组件技术的事务处理研究与实现[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
9 李虎;邹鹏;贾焰;周斌;;一种基于Map Reduce的分布式文本数据过滤模型研究[A];第26次全国计算机安全学术交流会论文集[C];2011年
10 林琦;王丽娜;董晓梅;于戈;申德荣;;MPEG视频信息中的数字水印研究与实现[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
中国博士学位论文全文数据库 前10条
1 孙晓华;基于聚类的文本机会发现关键问题研究[D];哈尔滨工程大学;2010年
2 杜伟夫;文本倾向性分析中的情感词典构建技术研究[D];哈尔滨工业大学;2010年
3 刘春辰;基于本体的企业搜索优化技术研究[D];吉林大学;2012年
4 朱岩;面向文本数据的半监督学习研究[D];北京交通大学;2012年
5 赵斌;基于图模型的微博数据分析与管理[D];华东师范大学;2012年
6 王秀红;文本相似度计算核函数的构造及其在分布式信息检索中的应用研究[D];江苏大学;2012年
7 李芳;文本挖掘若干关键技术研究[D];北京化工大学;2010年
8 王一川;基于内容的海量文本探索式查询导引中若干关键技术的研究[D];北京邮电大学;2011年
9 徐悦竹;机会发现算法及其应用研究[D];哈尔滨工程大学;2010年
10 胡佳妮;文本挖掘中若干关键问题的研究[D];北京邮电大学;2008年
中国硕士学位论文全文数据库 前10条
1 曹亚辉;非结构文本最佳近似匹配系统的研究与实现[D];东华大学;2011年
2 朱敏;基于丰心工学的情感信息可视化与充实度分析[D];北京邮电大学;2011年
3 徐淑坦;基于改进RBF神经网络的文本情感分类研究[D];吉林大学;2011年
4 李正林;中文文本数据分类研究[D];上海师范大学;2004年
5 暴自强;结合LSA的文本谱聚类算法研究[D];重庆大学;2010年
6 耿慧超;基于频繁闭词序列集的层次聚类算法的研究与实现[D];东北大学;2010年
7 黄文江;中文文本聚类算法分析与研究[D];上海交通大学;2010年
8 暴艳;多领域的文本情感倾向分类方法研究[D];山西大学;2012年
9 文星;基于位置感知的Web文本搜索技术研究[D];大连海事大学;2011年
10 张彬;文本情感倾向性分析与研究[D];河南工业大学;2011年
中国重要报纸全文数据库 前10条
1 实习生 赵静记者 黄雪英;自贡馆藏文物数据库系统建立[N];自贡日报;2008年
2 Jim Goodnight;BI:演进中勾勒未来[N];网络世界;2007年
3 张耀南 杨海 韦五周 景通桥 张军强;寒区旱区数据管理平台[N];计算机世界;2006年
4 本报记者 郭平;沃森背后的秘密[N];计算机世界;2011年
5 ;商业智能应用软件产品展示[N];中国计算机报;2002年
6 ;IBM IM独特的数据采集工具[N];中国计算机报;2002年
7 高良漠;网络业务处理系统设计(二)[N];中国工商报;2000年
8 本报记者 朴华;21世纪银行需要金融决策的手段[N];中国计算机报;2000年
9 黄予辉;选择合适的ETL工具[N];网络世界;2003年
10 戴洪玲;向Excel中快速输入相同文本[N];中国电脑教育报;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978