收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于RGB-D数据3D人体姿态估计综述

甄庆凯  陈骐  
【摘要】:人类动作数据集记录方式分为RGB和RGB-D两类,本文根据输入图像的种类不同,将三维人体姿态估计研究大致分为两类:第一类是基于RGB图像,第二类是基于RGB-D或深度图像。在深度传感设备普及之前的三维人体姿态估计研究中,主要是使用二维的RGB图像来实现三维的人体姿态估计,其主要方法大致可以分为生成法,判别法、混合法以及基于深度学习的方法。其中,关键的一步是从图像中估计出二维的关键点或二维姿态,然后通过建立的先验模型预测出三维的姿态。使用卷积神经网络在姿态估计中的表现非常优异,依赖神将网络的计算能力,可以直接从输入图像进行三维姿态回归,如Mehta等基于CNN提出一种实时的三维人体姿态估计方法。虽然过去十几年对基于RGB图像的三维人体姿态估计的研究取得了很大的突破,但是仍然有很多问题未得到解决。首先,由于背景、尺度和光照变化,以及服装和配饰在人体上的复杂外观,人体各部位的外观差异很大。同时,在RGB数据中,摄像机的拍摄角度和成像的垂直投影法使人体出现较大的变形,其次,人体运动中存在大量的遮挡现象会导致与人体有关的信息丢失,对于仅仅依赖RGB数据,由于遮挡问题不能重构杂乱的人体部位。因此估计准确度、收敛速度、鲁棒性等问题未得到解决。随着深度传感设备的普及,深度图像的获取更为方便,在人体姿态估计的研究中更倾向于利用RGB-D数据中的深度信息。深度信息有助于解决复杂场景中的外观变化、变形和遮挡问题,提高人体姿态估计的可靠性和准确性。首先,针对深度信息的外观特征,提出了将三维空间投影到二维平面上的有效方法,如距离不变投影和基于法线的投影。这样可以避免垂直投影到二维平面上的变形。此外,深度相机的照明和颜色变化不变。这使得使用深度信息作为外观描述符是有效的。其次,对于遮挡问题,可以通过深度信息和RGB图像对遮挡部分进行重构。在目前的基于TOF摄像机的人体姿态估计方法的研究主要包括Ganapathi的工作,他提出了一种利用单目深度图像流跟踪人体姿态的高效滤波算法。其关键思想是将一个精确的生成模型与一个提供有关身体部位位置判别模型相结合。Jain提出了一种基于模型的方法,采用基于Haar级联的检测方法和模板匹配方法,通过融合RGB数据和深度信息来检测和估计人类姿态。Zhu介绍了一种用于估计人体姿态的系统、方法和计算机应用。从一个方面看,在人体的深度图像中发现了解剖学特征。该方法在深度图像中检测到头部、颈部和躯干(H-N-T)模板,并基于H-N-T模板检测深度图像中的肢体。此外,基于TOF摄像机的人体检测和姿态估计还有很多。Plagemann等提出了一种新的关键点检测器,用于人体的网格结构模型和深度数据,以解决在深度图像中检测和识别身体部位的问题。Ikemura提出了一种利用关系深度相似特征(RDSF)检测人类的方法,该方法基于TOF摄像机获得了深度信息。与此同时,随着Kinect的发布,许多研究人员已经使用Kinect来进行人体姿态估计。在Shotton提出的一种新方法中,可以在不使用时间信息的情况下,从单个深度图像中快速准确地预测人体关节的三维位置。该算法采用了一种目标识别方法,将复杂的位姿估计问题映射为一个简单的像素分类问题。运用了大量的、高度多样化的训练数据集,允许分类器能够估计身体部位对姿势、体型、服饰等具有不变性。他们通过重新投影分类结果并找到局部模式来生成几个身体关节的置信度三维方案,能够处理部分遮挡问题,同时该算法能有效地估计无光或无约束光照条件下的人体姿态,且具有尺度不变性。此外,Ye提供了一种使用单深度摄像机实时同步姿态估计方法。Pauwels提出了一种基于模型的基于密集运动和深度线索的姿态实时检测和跟踪方法。然而,所提出的方法受TOF相机深度测量距离较短的限制。

知网文化
【相似文献】
中国期刊全文数据库 前17条
1 潘霁;石繁槐;;基于RGB-D传感器的人体姿态估计[J];中国科技信息;2016年01期
2 蔡鹏;孔德慧;尹宝才;霍奕;;基于肢体调整的人体姿态估计[J];系统仿真学报;2015年10期
3 汤泽胜;王兆仲;;单帧图像人体姿态估计综述[J];计算机工程与科学;2011年11期
4 李崤河;刘进锋;;二维人体姿态估计研究综述[J];现代计算机;2019年22期
5 韩贵金;沈建冬;;二维人体姿态估计研究进展[J];西安邮电大学学报;2017年04期
6 喻东山,徐捷,孙旦晖,曾彦英,高小宁,蒋晓军;利培酮对人体姿态平衡的效应[J];中国行为医学科学;2005年03期
7 东方伊人;四种常见的人体姿态[J];现代技能开发;1996年02期
8 徐岳峰;周书仁;王刚;佘凯晟;;基于深度图像梯度特征的人体姿态估计[J];计算机工程;2015年12期
9 苏延超;艾海舟;劳世竑;;图像和视频中基于部件检测器的人体姿态估计[J];电子与信息学报;2011年06期
10 李庆武;席淑雅;王恬;马云鹏;周亮基;;结合位姿约束与轨迹寻优的人体姿态估计[J];光学精密工程;2017年04期
11 代钦;石祥滨;乔建忠;刘芳;张德园;;结合遮挡级别的人体姿态估计方法[J];计算机辅助设计与图形学学报;2017年02期
12 马淼;李贻斌;;基于多级动态模型的2维人体姿态估计[J];机器人;2016年05期
13 杨兴明;周亚辉;张顺然;吴克伟;孙永宣;;跨阶段结构下的人体姿态估计[J];中国图象图形学报;2019年10期
14 郑毅;李凤;张丽;刘守印;;基于长短时记忆网络的人体姿态检测方法[J];计算机应用;2018年06期
15 谭冠政;叶华;陈敏杰;;基于频率筛分的无监督人体姿态特征提取与识别研究[J];测控技术;2017年09期
16 李毅;孙正兴;陈松乐;李骞;;基于退火粒子群优化的单目视频人体姿态分析方法[J];自动化学报;2012年05期
17 王筱兰;徐捷;喻东山;成为荣;;氯丙嗪与利培酮对人体姿态平衡效应的对照研究[J];四川精神卫生;2006年03期
中国重要会议论文全文数据库 前8条
1 甄庆凯;陈骐;;基于RGB-D数据3D人体姿态估计综述[A];第十一届全国体育科学大会论文摘要汇编[C];2019年
2 罗大为;郑颖;张姗;;基于视觉的人体姿态评估方法研究与进展[A];中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文集[C];2018年
3 唐轶峻;汤一平;隋成华;;基于HMMs的人体姿态图像视觉理解研究[A];浙江省光学学会第九届学术年会暨新型光电技术青年论坛论文集[C];2005年
4 路晓坚;李金娜;袁德成;Er Meng Joo;;基于SVM的人体姿态预测方法[A];第36届中国控制会议论文集(C)[C];2017年
5 王石荣;徐昌;于宁波;;面向移动机器人SLAM的双RGB-D传感器数据融合方法与应用[A];第36届中国控制会议论文集(E)[C];2017年
6 董大仟;何青;杨昆;;人体振动的研究进展概述[A];第八届全国振动理论及应用学术会议论文集摘要[C];2003年
7 宁明峰;张世杰;谷蔷薇;;空间二维图像与深度图像稀疏场景流恢复[A];2017年空间机电与空间光学学术研讨会论文集[C];2017年
8 金哲豪;刘安东;仇翔;俞立;;基于RGB-D传感器的移动目标跟踪算法设计[A];第37届中国控制会议论文集(D)[C];2018年
中国博士学位论文全文数据库 前10条
1 赵林;面向复杂监控环境的人体运动分析方法[D];西安电子科技大学;2017年
2 马淼;视频中人体姿态估计、跟踪与行为识别研究[D];山东大学;2017年
3 宋希彬;基于RGB-D信息的深度图像增强关键技术研究[D];山东大学;2017年
4 王俊;基于RGB-D相机数据的室内三维重建模型与方法研究[D];中国科学院大学(中国科学院遥感与数字地球研究所);2018年
5 陈聪;基于人体姿态序列提取和分析的行为识别[D];华南理工大学;2012年
6 李弟平;基于视频的人体姿态检测与运动识别方法[D];中南大学;2012年
7 李成龙;基于RGB-D数据的头部姿态估计研究[D];山东大学;2017年
8 欧阳毅;单目视频中人体运动建模及姿态估计研究[D];浙江大学;2012年
9 赵强;基于RGB-D相机的运动平台实时导航定位模型与方法研究[D];中国科学院大学(中国科学院遥感与数字地球研究所);2017年
10 李佳;多视角三维人体运动捕捉的研究[D];北京交通大学;2013年
中国硕士学位论文全文数据库 前10条
1 徐岳峰;深度图像中人体姿态估计研究[D];长沙理工大学;2015年
2 肖义;基于姿态聚类和候选重组的人体姿态估计[D];大连理工大学;2013年
3 丁肖;针对静态图像的人体姿态估计[D];辽宁大学;2015年
4 刘专;基于增强回归树的二维人体姿态估计研究[D];华南理工大学;2015年
5 孟凡辉;静态图片人体姿态估计研究[D];合肥工业大学;2012年
6 周朋肖;基于人体姿态估计的队列评分系统的设计与实现[D];电子科技大学;2019年
7 侯珊珊;基于卷积神经网络的人体姿态估计[D];华北理工大学;2019年
8 周亚辉;基于跨阶段深度网络的人体姿态分析[D];合肥工业大学;2019年
9 朱靖;基于卷积神经网络的二维人体姿态估计研究[D];杭州电子科技大学;2019年
10 汤林;拥挤条件下的人体姿态检测算法研究[D];重庆邮电大学;2019年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978