上交大卢策吾团队开源AlphaPose在MSCOCO上稳超MaskRCNN8个百分点_[#第一枪]
雷锋网 AI 研习社消息,日前,上海交通大学卢策吾团队开源 AlphaPose。AlphaPose 是一个多人姿态估计系统,具有极高的精准度。
据卢策吾团队介绍,AlphaPose 在姿态估计(Pose Estimation)标准测试集 MSCOCO 上比 Mask-RCNN 相对提高 8.2%,比 OpenPose(CMU)相对提高 17%。除此之外,在 MPII 排行榜上,AlphaPose以 6% 的相对优势占据榜首。
卢策吾:上海交通大学研究员,博士生导师。主要从事计算机视觉与深度学习相关研究,入选国家「青年千人」计划,原斯坦福 AI Lab 博士后研究员(导师:Fei-Fei Li 和 Leo Guibas),为斯坦福-丰田无人车重要研究人员之一。
AlphaPose 是基于腾讯优图和卢策吾团队在 ICCV 2017 上的分区域多人姿态识别算法(RMPE),该算法主要为了解决在人物检测结果不准的情况下进行稳定的多人姿态识别问题。雷锋网 AI 科技评论之前对该算法有过介绍,
综合利用了对称性空间迁移网络(Symmetric Spatial Transformer Network)和单人姿态估计算法,从而摆脱了多人姿态识别任务对人物检测准确性的依赖,并且进一步通过参数化的人物姿态表达对识别结果进行了优化。根据在公开数据集MPII上的测试结果,该算法相较CMU提出的OpenPose算法提升了1个百分点,尤其是对手肘、手腕、膝盖、脚踝等细小关键点的改善尤为明显。
据 AI 研习社了解,AlphaPose是第一个在COCO 数据集上的 mAP 超过70 (72.3 mAP),在MPII 数据集上的 mAP 超过80 (82.1 mAP) 的开源系统。
据悉,该系统目前有两个应用:
一是视频姿态跟踪(Pose Tracking)。为了匹配同一个人在不同帧中的姿态,他们开源了一个高效的线上姿态跟踪器(Pose Tracker)——Pose Flow。Pose Flow 是第一个在 PoseTrack Challenge 数据集上的 mAP 超过 60 (66.5 mAP) 、MOTA 超过50 (58.3 MOTA) 的线上开源姿态跟踪器(Pose Tracker)。
论文:Pose Flow: Efficient Online Pose Tracking
二是视觉副词识别(Visual Adverb Recognition)。他们提出对视觉副词进行研究,提供了新的 ADHA 数据集,以及一个基于该姿态估计系统的算法。不过准确率目前较低。
论文:Human Action Adverb Recognition: ADHA Dataset and Four-Stream Hybrid Model
结果展示
下图为 AlphaPose姿态估计的效果:
在COCO test-dev 2015 上的得分如下:
在 MPII 测试全集上的得分如下:
下图是姿态跟踪的效果:
在PoseTrack Challenge 验证集上的效果如下:
任务 2:多人姿态估计(mAP)
任务 3:姿态跟踪(MOTA)
据悉,他们将很快公开姿态跟踪的代码,雷锋网 AI 研习社也会第一时间关注。
via:GitHub,上海交大机器视觉与智能实验室
雷锋网版权文章,未经授权禁止转载。详情见转载须知。
- 华人之光国际天文联合会通过编号16812冷热缸立式车床隔离柱拉伸模具化纤滤纸Frc
- 万顺新材2020年度净利润约7711万元烫金机滤清器压力锅热电阻磷化液Frc
- 工程机械多品种销量大幅攀升行业望持续回暖邓州基金投资浊度仪散货船测试设备Frc
- 艾讯推出D525双核心极致效能MiniI外墙清洗电源柜气砂轮光缆设备测试针Frc
- 亚玛顿计划增加光伏超薄双玻组件销售弧焊芜湖羊绒手套低温轮椅Frc
- 广西桂林将筹资十一亿建中国首家交通世界博油炉沐浴柱冬枣吊秤除尘Frc
- 合肥站7月1日起首次开通赴沈阳高铁停运9石墨垫片领养制袋机活塞杆饭盒Frc
- 均速管流量计的现状与发展消火栓箱加工中心操作机凹印油墨触摸屏Frc
- 空气压缩机的维护方法酸性染料驻马店合金钢负载均衡相机Frc
- 瓦楞纸板边压强度和耐破强度的计算多屏显示隐形眼镜模具木工机械齿条Frc