关于AGORA-HPE数据集的制作问题

[wangzixing1998]

你好，我对上述公式可以得到的M_r的具体物理含义不是很能理解，这个是头部相对于相机的旋转和偏移吗？如果是相对于头部的旋转和偏移，那么依据相机图片坐标点与头部三维关键点之间的映射关系，是否能够利用三维头部关键点坐标得到图片中相应二维关键点的坐标。

[hnuzhy]

Mr是人头相对正交视角下的变换参数，用来得到姿态欧拉角。目前，得到人脸的2D稠密关键点很简单，但是如何尽量准确地得到人头的姿态，也就是三个欧拉角，还很困难。比如一张纯粹的in-the-wild 2D人头图像，要想得到其接近GTs的姿态，现有的方法只能将2D关键点重建为3D关键点（首次引入误差），然后利用3D关键点与标准平均人头模型配准（再次引入误差），比如img2pose中生成多个2D人脸的姿态弱标签。本文提到的两个数据集，AGORA和CMU-Panoptic，都是提供了精准的3D关键点，以及相机参数，缓解了两次误差的引入，但代价是这两个数据集的多样性和泛化性不够好，不方便直接应用到真实场景

[wangzixing1998]

我想尝试使用您这边提供的多人数据集训练img2pose模型，但是img2pose所需要的真值标签是6DoF，即人头相对于相机坐标系的旋转和偏移。但是这个Mr并非是我所需要的数据，是否需要对其进行进一步的变换

[hnuzhy]

OK. 关于得到 img2pose中6DoF标签的脚本，我的代码中其实已经提供了，参考的是原img2pose官方代码
https://github.com/hnuzhy/DirectMHP/blob/main/exps/convert_coco_style_img2pose.py#L231
你需要提供2D人脸关键点即可，这些数据在CMU-HPE和AGORA-HPE数据集中有提供

[wangzixing1998]

嗯嗯，其中的输入参数，比如2D关键点，3D关键点，相机参数，都可以在CMU-HPE和AGORA-HPE数据集中提供的精确值中获得，请问是使用这些参数吗。

[wangzixing1998]

请问使用solvePnP得到的6DoF标签中欧拉角的真值与您这边得到的M_r中的欧拉角真值是否也存在着一定误差

[hnuzhy]

对的，不同的GTs生成方法都会有误差，6DoF的误差应该会大一些，因为没有相机参数，所以重新生成的WIDER-FACE只能称为弱标签数据集

[wangzixing1998]

我想用CMU-HPE和AGORA-HPE数据集训练img2pose模型，而不是WIDER FACE数据集。所以我尝试制作用于img2pose训练的6DoF真值标签，您这边提供了CMU-HPE和AGORA-HPE数据集中欧拉角的真值标签生成代码，而代码中M_r并非是img2pose所需要的6DoF真值标签。所以必须使用solvePNP算法得到6DoF标签吗？其中2D,3D关键点，相机参数，这些在CMU-HPE和AGORA-HPE数据集中均提供真值。您这边在使用以下公式生成欧拉角计算过程中，不知能否得到用于img2pose所需的6DoF真值标签。

[hnuzhy]

OK. 关于得到 img2pose中6DoF标签的脚本，我的代码中其实已经提供了，参考的是原img2pose官方代码 https://github.com/hnuzhy/DirectMHP/blob/main/exps/convert_coco_style_img2pose.py#L231 你需要提供2D人脸关键点即可，这些数据在CMU-HPE和AGORA-HPE数据集中有提供

这里的代码，可以转换得到img2pose的6DoF标签