人体姿态估计 项目链接:https://link.zhihu.com/?target=https%3A//github.com 1)方向:姿势估计 2)应用:姿势估计 3)背景:基于热图的方法已成为姿势估计的主流方法,因为其性能优越。然而,基于热图的方法在使用缩小尺寸的热图时会遭受显著的量化误差,导致性能有限,并对中间监督产生不利影响。以往的基于热图的方法依赖于额外的后处理来减轻量化误差。一些方法通过使用多个昂贵的上采样层来提高特征图的分辨率,从而提高定位精度。 4)方法:为了解决上述问题,作者创造性地将骨干网络视为一个degradation(降质)过程,并将热图预测重新构造为超分辨率任务。首先提出了SR head,通过超分辨率预测高于输入特征图(甚至与输入图像一致)的热图,以有效减少量化误差,并减少对进一步后处理的依赖。此外,提出了SRPose方法,以逐渐在粗糙到精细的方式中从低分辨率热图和退化特征恢复高分辨率热图。为了减少高分辨率热图的训练难度,SRPose使用SR head来监督每个阶段的中间特征。另外,SR head是一个轻量级通用的头部,适用于自上而下和自下而上的方法。 《轻量级超分辨率头在人体姿态估计中的应用》 人体姿态估计是计算机视觉领域中的一个关键任务,它涉及到识别图像或视频中人物的关键关节位置,如肩、肘、膝等。这一技术广泛应用于动作识别、人机交互、体育分析等领域。近年来,基于热图的方法在姿态估计中取得了显著的进步,其原理是通过预测每个关节的二维概率分布热图,然后通过峰值检测确定关节位置。然而,基于热图的方法存在一个问题,即在使用缩小尺寸的热图时,会引入显著的量化误差,这限制了其性能并影响中间监督的效果。 为了解决这个问题,研究人员提出了一种新的方法,将骨干网络视为一个降质过程,将热图预测重新定义为超分辨率任务。这一创新思路体现在“轻量级超分辨率头”(SR head)的设计上。SR head的目标是通过超分辨率技术预测出的热图具有比输入特征图更高的空间分辨率,甚至可以与原始输入图像分辨率一致,从而有效地减少量化误差,降低对后续后处理步骤的依赖。这种方法不仅提高了定位精度,还简化了模型结构。 SRPose是基于SR head提出的一种逐步恢复高分辨率(HR)热图的策略。它采用粗到细的方式,从低分辨率(LR)热图和降质特征出发,逐渐恢复出更精确的人体关节位置。在训练过程中,SR head用于监督每个阶段的中间特征,帮助模型更好地学习和优化,降低了高分辨率热图训练的复杂度。 此外,SR head的设计具有轻量级和通用性,无论是自上而下的方法(从全局图像信息开始预测关节位置)还是自下而上的方法(从局部特征开始逐渐构建全身结构),都能很好地适应。实验结果表明,SRPose在COCO、MPII和Crowd-Pose等标准数据集上超越了现有的基于热图的方法,证明了其在人体姿态估计领域的优越性。 这项工作展示了超分辨率技术在解决基于热图的人体姿态估计方法中量化误差问题上的潜力。通过轻量级的SR head设计和逐步恢复策略,模型能够在保持高效的同时提升姿态估计的准确性。这一研究为未来的人体姿态估计技术发展提供了新的思路和方向,有望在实际应用中实现更准确、更快速的人体姿态识别。
2025-04-27 17:56:11 840KB 人体姿态估计
1
人体姿态检测总结,Deep Learning-Based Human Pose Estimation: A Survey
2022-12-27 14:32:20 2.51MB poseestimation
1
LASOR: Learning Accurate 3D Human Pose and Shape Via Synthetic Occlusion-Aware Data and Neural Mesh Rendering
2022-12-27 09:30:00 39.75MB 姿态估计
1
本文复现的是是发表在ICCV 2017的工作《Learning Feature Pyramids for Human Pose Estimation》,论文提出了一个新的特征金字塔模块,在卷积网络中学习特征金字塔,并修正了现有的网络参数初始化方法,在人体姿态估计和图像分类中都取得了很好的效果。
2022-12-05 11:13:42 4.44MB 特征金字塔
1
人体姿态检测梳理。 AI识别人可以分成五个层次,依次为: 1.有没有人? object detection 2.人在哪里? object localization & semantic segmentation 3.这个人是谁? face identification 4.这个人此刻处于什么状态? pose estimation 5.这个人在当前一段时间里在做什么? Sequence action recognition
2022-06-24 13:00:14 10.21MB 神经网络 Human Pose Estim
1
简单轻巧的人体姿势估计 介绍 在COCO关键点有效数据集上,如果with_gcb模块达到66.5的mAP ,否则达到64.4的mAp 主要结果 COCO val2017数据集上的结果 拱 with_GCB 美联社 Ap .5 AP .75 AP(男) AP(长) 增强现实 AR .5 AR .75 手臂) AR(左) 256x192_lp_net_50_d256d256 是的 0.665 0.903 0.746 0.644 0.697 0.700 0.911 0.771 0.672 0.743 256x192_lp_net_50_d256d256 不 0.644 0.885 0.715 0.619 0.685 0.679 0.898 0.742 0.647 0.725 笔记: 使用翻转测试。 环境 该代码是在Ubuntu 16.
2022-05-22 19:44:39 20.8MB Python
1
Human Pose Evaluator是一个包含人物图像和躯干标注数据,用以识别图像中的人物轮廓,以头,躯干,左右大臂,左右小臂6个线段表示人体轮廓,图像来自电视剧《Buffy the Vampire Slayer》中的画面进行人工标注。
2022-05-07 17:01:32 619.42MB 人体躯干识别 图像内容理解 机器视觉
1
此仓库实现了我们的ICCV论文“用于3D人体姿势估计的Cross View融合” 快速开始 安装 克隆此仓库,我们将克隆多视图姿势的目录称为$ {POSE_ROOT} 安装依赖项。 下载pytorch imagenet预训练的模型。 请在$ {POSE_ROOT} / models下下载它们,并使它们看起来像这样: ${POSE_ROOT}/models └── pytorch └── imagenet ├── resnet152-b121ed2d.pth ├── resnet50-19c8e357.pth └── mobilenet_v2.pth.tar 可以从以下链接下载它们: : 初始化输出(训练模型输出目录)和日志(张量板日志目录)目录。 mkdir ouput mkdir log 并且您的目录树应该像这样
2022-04-21 20:19:14 84KB Python
1
GTA-IM数据集 具有场景上下文的长期人体运动预测,ECCV 2020(口服) ,, ,, , 。 该存储库维护着我们的GTA室内运动数据集(GTA-IM),该数据集着重于室内环境中的人与场景之间的交互作用。我们从逼真的游戏引擎中收集3D人体运动的高清RGB-D图像序列。该数据集具有清晰的3D人体姿势和相机姿势注解,并且在人的外观,室内环境,相机视图和人类活动方面有很大的差异。 目录 演示版 (0)入门 克隆此存储库,然后创建本地环境: conda env create -f environment.yml 。 为了方便起见,我们在demo目录中提供了一部分数据。在本节中,您将能够使用维护的工具脚本来处理我们数据的不同部分。 (1)3D骨架和点云 $ python vis_skeleton_pcd.py -h usage: vis_skeleton_pcd.py [-h] [-
2022-04-01 11:36:45 74.77MB dataset rgbd 3d-human-pose human-scene-interaction
1
人姿势估计opencv 使用OpenPose MobileNet在OpenCV中执行人体姿势估计 如何使用 使用网络摄像头进行测试 python openpose.py 用图像测试 python openpose.py --input image.jpg 使用--thr增加置信度阈值 python openpose.py --input image.jpg --thr 0.5 笔记: 我修改了以使用由提供的Tensorflow MobileNet Model ,而不是来自CMU OpenPose的Caffe Model 。 来自OpenCV example的原始openpose.py仅使用超过200MB的Caffe Model ,而Mobilenet只有7MB。 基本上,我们需要更改cv.dnn.blobFromImage并使用out = out[:, :19, :, :] cv
2022-03-11 16:35:49 6.97MB opencv computer-vision tensorflow pose-estimation
1