收藏本站
《2017年(第五届)全国大学生统计建模大赛获奖论文选》2017年
收藏 | 手机打开
二维码
手机客户端打开本文

基于集成学习和深度学习的短期降雨预测模型

关鹏洲  王梦毫  李倩  
【摘要】:本文以阿里巴巴天池平台上的多普勒雷达图数据集为基础,针对短期降雨预测问题进行研究。经过图像分析与预处理工作后,运用并适当改进了传统机器学习模型及近年兴起的深度学习算法,提出了多种对于短期降雨预测的统计改进模型,取得了较好的预测效果。首先对数据集进行了缺失值处理以及探索性分析,研究目标变量的分布规律以及不同时段和高度下雷达图与目标变量的相关性。之后提出了缩略图和统计量两种特征选取方式,并分别使用回归树、最近邻回归、支持向量回归及贝叶斯岭回归等基础模型对两种方式所提取的数据集进行训练和预测,发现总体上缩略图方式表现更优。选取了较优的缩略图特征后,比较分析了随机森林、GBDT、XGBoost等集成模型的预测效果,其中最好RMSE得分为14.23,并提出了基于GBDT特征选择的改进Ada Boost回归模型以及基于多个强回归器组合的stacking回归模型,RMSE得分分别降低至14.11和14.18。对于目标变量双峰偏态分布的特点,本文提出了先分类再回归和深度学习的方法进行模型改进。在建模前首先利用矩阵的同步旋转变换来增加样本量,借此提高之后深度学习模型的预测效果;接着对目标变量进行区间划分,分出0、1两类区间以及缓冲区间;再基于python3.5的Mxnet深度学习框架,搭建Inception卷积神经网络;在训练过程中,先用Inception分类模型将训练、预测出0、1两类,分类错判率在10%以内;再用Inception回归模型对两类分别进行训练和预测,综合后取平均输出。经过粗略调参后,线上评测得分为14.264。最后给出了分批量处理全部数据集的思路,以待日后的改进、实现。
【作者单位】:西南财经大学
【分类号】:TP181;P457.6

【相似文献】
中国期刊全文数据库 前10条
1 武玉英;严勇;蒋国瑞;;基于动态选择性集成学习的供应链产销协商优化策略[J];计算机工程;2017年05期
2 张沧生;崔丽娟;杨刚;倪志宏;;集成学习算法的比较研究[J];河北大学学报(自然科学版);2007年05期
3 米硕;孙瑞彬;李欣;明晓;;集成学习在文本分类问题中的应用[J];中国新通信;2018年09期
4 柳炳祥;贾建华;汤可宗;徐星;;基于重采样策略的选择性谱聚类集成学习算法[J];科学技术与工程;2013年19期
5 徐桂云;陈跃;张晓光;刘云楷;;基于选择性集成学习的焊接缺陷识别研究[J];中国矿业大学学报;2011年06期
6 张春霞;张讲社;;选择性集成学习算法综述[J];计算机学报;2011年08期
7 饶峰;;核机器集成学习算法的误差分析[J];重庆文理学院学报(自然科学版);2010年04期
8 陈德华;吴迪;潘乔;;基于超声特征集成学习的甲状腺结节分类方法研究[J];智能计算机与应用;2016年06期
9 唐小果;李毓;;个人信用评估应用方法分析——基于集成学习算法视角[J];经济问题;2011年12期
10 张安国;张树勋;朱巍;李秀敏;黄金龙;基于资源分配网络的小数据集并行集成学习方法[J];计算机应用研究;2019年04期
中国重要会议论文全文数据库 前6条
1 关鹏洲;王梦毫;李倩;;基于集成学习和深度学习的短期降雨预测模型[A];2017年(第五届)全国大学生统计建模大赛获奖论文选[C];2017年
2 杜方键;杨宏晖;;K均值聚类优化集成学习[A];2011'中国西部声学学术交流会论文集[C];2011年
3 倪志伟;张琛;倪丽萍;;基于萤火虫群优化算法的选择性集成霾天气预报方法[A];中国系统工程学会第十八届学术年会论文集——A12系统科学与系统工程理论在各个领域中的应用研究[C];2014年
4 李烨;蔡云泽;许晓鸣;;基于支持向量机集成的故障诊断[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年
5 吴龙飞;孙浩;计科峰;;基于集成映射的半监督图像分类方法[A];第八届全国信号和智能信息处理与应用学术会议会刊[C];2014年
6 王祯骏;刘纯熙;张维刚;黄庆明;;一种有效的网络视频内容缩略图推荐方法[A];第八届和谐人机环境联合学术会议(HHME2012)论文集NCMT[C];2012年
中国重要报纸全文数据库 前10条
1 浙江 蔡豪杰;缩略图制作“一点”就行[N];电脑报;2003年
2 辽宁 小乔;量身定做个性缩略图[N];电脑报;2004年
3 ;谁说图像缩略图只能“其貌不扬”[N];中国电脑教育报;2004年
4 本报记者 李家平;泸州文化产业“缩略图”速览[N];泸州日报;2010年
5 柳坚;玩转Win XP缩略图[N];电脑报;2003年
6 天津 武金刚;给ACDSee减减肥[N];电脑报;2002年
7 雷颐 中国社科院近代史研究所研究员;晚清官场的“缩略图”[N];经济观察报;2007年
8 湖南 陈楚楚;用FrontPage2000制作缩略图和图片重叠[N];中国电脑教育报;2000年
9 郑州 赵广复;用ACDSee32制作“缩略图”网页[N];电脑报;2001年
10 四川 肖枭;如何实现图片缩略显示[N];电脑报;2001年
中国博士学位论文全文数据库 前10条
1 赵鹤;面向高维大数据的子空间集成学习方法研究[D];中国科学院大学(中国科学院深圳先进技术研究院);2017年
2 刘天羽;基于特征选择技术的集成学习方法及其应用研究[D];上海大学;2007年
3 侯勇;特征提取与集成学习算法的研究及应用[D];北京科技大学;2015年
4 孙永宣;集成学习下的图像分析关键问题研究[D];合肥工业大学;2013年
5 尹华;面向高维和不平衡数据分类的集成学习研究[D];武汉大学;2012年
6 阿里木·赛买提(Alim.Samat);基于集成学习的全极化SAR图像分类研究[D];南京大学;2015年
7 刘冲;模拟电路故障诊断AdaBoost集成学习方法研究[D];大连海事大学;2011年
8 钮冰;基于集成学习算法的若干生物信息学问题研究[D];上海大学;2009年
9 程丽丽;支持向量机集成学习算法研究[D];哈尔滨工程大学;2009年
10 李磊军;基于间隔和置信度的选择性集成学习算法研究[D];哈尔滨工业大学;2014年
中国硕士学位论文全文数据库 前10条
1 刘星灿;基于集成学习的房产资讯分类[D];西南交通大学;2018年
2 宋佳智;基于集成学习的膜蛋白金属离子结合位点预测[D];东北师范大学;2018年
3 石玥;基于集成学习的分子吸收能含时密度泛函计算校正模型研究[D];东北师范大学;2018年
4 刘毅;基于集成学习算法的冠心病早期筛查方法研究[D];山东大学;2018年
5 贾晓晓;基于用户行为数据的再访问预测研究[D];山东大学;2018年
6 郑旭曼;基于集成学习的O_3浓度逐小时预测模型研究[D];华东师范大学;2018年
7 安雪美;基于集成学习的人脸特征提取及识别应用研究[D];青岛科技大学;2018年
8 张守宾;基于集成学习的中医病案数据挖掘方法研究[D];青岛科技大学;2018年
9 王韬;基于上抽样和集成学习的不平衡数据分类研究[D];厦门大学;2017年
10 彭钰;基于集成学习模型在店铺消费人数预测的应用研究[D];上海师范大学;2018年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026