收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

电力大数据属性约简方法的研究

毛冬  裴旭斌  沈志豪  王艳艳  韦金良  陈可  
【摘要】:针对目前电力数据预处理面对多类型、海量、实时以及可靠性的特点,传统的属性约简算法难以处理大数据量和消除冗余,并且对包含连续型数据的电力信息表也不能有效处理。因此,本文提出了基于Spark内存计算的模糊属性约简算法,综合运用模糊集理论和粗糙集理论,。利用spark计算架构设计实现了数据并行和任务并行,通过计算属性依赖度实现冗余属性约简。通过在实验室云计算集群上的运行实验,并与现有的基于hadoop技术的约简方法进行对比,证明了提出算法的有效性。

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 唐卫国;张涛;罗奕;徐晋勇;;粗糙集属性约简算法综述[J];大众科技;2015年11期
2 张亚朋;;粗糙集属性约简算法研究[J];信息通信;2018年05期
3 张冬雯;王鹏;仇计清;;基于邻域粗糙集和蚁群优化的属性约简算法[J];河北科技大学学报;2011年05期
4 沈林;陈建辉;;基于下近似分布的变精度邻域粗糙集属性约简算法[J];贵州大学学报(自然科学版);2017年04期
5 吴尚智;苟平章;;粗糙集和信息熵的属性约简算法及其应用[J];计算机工程;2011年07期
6 任晓霞;薛凡;;基于模糊邻域粗糙集的启发式属性约简算法[J];计算机工程与应用;2018年09期
7 李立;张燕平;;粗糙集中基于信息量的决策表属性约简算法[J];安庆师范学院学报(自然科学版);2007年04期
8 常红岩;蒙祖强;;一种新的决策粗糙集启发式属性约简算法[J];计算机科学;2016年06期
9 杨慧,瞿畅,李乃成;粗糙集与软集合在临床诊断中约简及决策分析[J];纺织高校基础科学学报;2004年03期
10 姚晟;汪杰;徐风;陈菊;;不一致邻域粗糙集的不确定性度量和属性约简[J];小型微型计算机系统;2018年04期
11 熊红艳,徐宁,章云;基于粗糙集理论的属性约简算法的VB实现[J];计算机工程与应用;2005年23期
12 钱进;吕萍;岳晓冬;;决策粗糙集属性约简算法与属性核研究[J];计算机科学与探索;2014年03期
13 姚晟;汪杰;徐风;陈菊;;不完备邻域粗糙集的不确定性度量和属性约简[J];计算机应用;2018年01期
14 胡彧;李智玲;李春伟;;一种基于区分矩阵的属性约简算法[J];计算机应用;2006年S1期
15 李宁;王李管;贾明涛;;基于粗糙集理论和支持向量机的岩爆预测[J];中南大学学报(自然科学版);2017年05期
16 徐维艳;汪志南;王平心;;基于粗糙集理论的大学生就业满意度统计分析[J];淮阴工学院学报;2017年05期
17 杨星;;粗糙集理论与相关不确定性理论的辨证研究[J];微电子学与计算机;2006年03期
18 张光轶;苏艳琴;马颖亮;许爱强;;一种融合粗糙集与灰模的装备故障预测方法[J];计算机测量与控制;2012年02期
19 吴强;周文;刘宗田;陈慧琼;;基于粗糙集理论的概念格属性约简及算法[J];计算机科学;2006年06期
20 张灵均;徐久成;李双群;李晓艳;;相斥邻域的覆盖粗糙集实值属性约简[J];山东大学学报(理学版);2012年01期
中国重要会议论文全文数据库 前10条
1 毛冬;裴旭斌;沈志豪;王艳艳;韦金良;陈可;;电力大数据属性约简方法的研究[A];2017年“电子技术应用”智能电网会议论文集[C];2017年
2 尹宗成;;粗糙集理论在我国粮食产量预测中的应用[A];现代农业理论与实践——安徽现代农业博士科技论坛论文集[C];2007年
3 刘碧森;钟守铭;陈华富;;基于支持向量机与粗糙集理论的信息处理[A];第二届全国信息获取与处理学术会议论文集[C];2004年
4 李雄;李胜利;徐宗昌;;基于粗糙集理论的状态监测与故障诊断(英文)[A];第三届全国信息获取与处理学术会议论文集[C];2005年
5 易国华;;基于粗糙集和模糊集理论的数字图像增强方法[A];第二届全国信息获取与处理学术会议论文集[C];2004年
6 卓明;王丽珍;谭旭;;基于粗糙集近似集扩展的规则提取算法[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
7 葛丽;傅彦;;粗糙集在科学数据属性约简中的应用[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
8 孙亮;杨飞;于建均;陈梅莲;;一种基于指数粗糙集合的变精度控制器应用研究[A];第25届中国控制会议论文集(下册)[C];2006年
9 陈钉均;刘熠;李涵;吴开腾;;变精度覆盖粗糙集的新型算子研究[A];中国运筹学会模糊信息与模糊工程分会第五届学术年会论文集[C];2010年
10 刘庆珍;蔡金锭;;基于粗糙集理论的电力电子电路故障诊断[A];第十六届电工理论学术年会论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 黎文善(LE VAN THIEN);基于覆盖的概率粗糙集和L-模糊变精度粗糙集研究[D];武汉大学;2015年
2 王丽娜;基于阴影集和粗糙集的模糊聚类算法研究与应用[D];南京航空航天大学;2016年
3 谭天乐;基于粗糙集的过程建模、控制与故障诊断[D];浙江大学;2003年
4 乔斌;粗糙集理论分层递阶约简算法的研究[D];浙江大学;2003年
5 何亚群;基于粗糙集的智能决策理论与应用研究[D];南京航空航天大学;2005年
6 马玉良;知识获取中的Rough Sets理论及其应用研究[D];浙江大学;2005年
7 张勇;粗糙集—神经网络智能系统在浮选过程中的应用研究[D];大连理工大学;2006年
8 王加阳;面向海量数据的粗糙集理论与方法研究[D];中南大学;2005年
9 乔梅;基于粗糙集和数据库技术的知识发现与推理方法研究[D];天津大学;2005年
10 高赟;基于粗糙集的故障诊断和容错控制理论和方法研究[D];西安科技大学;2005年
中国硕士学位论文全文数据库 前10条
1 李楠;基于邻域粗糙集的属性约简算法研究[D];陕西师范大学;2011年
2 杨哲;基于粗糙集理论的属性约简算法研究[D];长春理工大学;2008年
3 孟慧丽;粗糙集的不确定度量理论及启发式属性约简算法研究[D];河南师范大学;2008年
4 赵星辉;一种面向文本分类的基于动态邻域粗糙集的属性约简算法[D];山东科技大学;2017年
5 代广珍;基于粗糙集理论的属性约简算法研究和设计[D];安徽大学;2007年
6 王蕊;粗糙集属性约简算法在热工系统中的应用研究[D];华北电力大学;2017年
7 李玮;基于粗糙集的属性约简算法研究与应用[D];江西师范大学;2007年
8 韩丽丽;决策粗糙集的属性约简算法研究[D];安徽大学;2013年
9 罗艺纯;基于遗传粒子群算法和粗糙集的属性约简算法研究[D];西北师范大学;2015年
10 王鹏;基于邻域粗糙集的属性约简算法研究[D];河北科技大学;2011年
中国重要报纸全文数据库 前2条
1 本报记者 王超;玩转年轻创意 新SPARK要做高端小车[N];中国青年报;2011年
2 本报记者 李智 通讯员 梁宪生;零的突破[N];山西经济日报;2001年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978