LOKI：智能体轨迹和意图预测的大规模数据集及模型评估

LOKI：智能体轨迹和意图预测的大规模数据集及模型评估 LOKI 数据集是为了解决自动驾驶环境中异构交通代理（行人和车辆）的联合轨迹和意图预测问题而提出的。该数据集包含 RGB 图像和对应的 LiDAR 点云，这些点云具有行人和车辆的详细的逐帧标签。LOKI 数据集允许对代理的未来意图进行显式建模，它还显示了有前途的方向，共同推理的意图和轨迹，同时考虑不同的外部因素，如代理。 智能体轨迹预测是自动驾驶环境中的一项关键任务。然而，目前的研究活动并不直接适用于智能和安全关键系统。这主要是因为非常少的公共数据集是可用的，并且它们仅从受限的自我中心视图考虑针对短时间水平的行人特定意图。为此，我们提出了 LOKI 数据集，旨在解决自动驾驶环境中异构交通代理（行人和车辆）的联合轨迹和意图预测问题。 轨迹预测的最新进展表明，对智能体意图的明确推理是重要的来准确预测它们的运动。然而，目前的研究活动并不直接适用于智能和安全关键系统。这主要是因为非常少的公共数据集是可用的，并且它们仅从受限的自我中心视图考虑针对短时间水平的行人特定意图。 为此，我们提出了 LOKI 数据集，旨在解决自动驾驶环境中异构交通代理（行人和车辆）的联合轨迹和意图预测问题。LOKI 数据集包含 RGB 图像和对应的 LiDAR 点云，这些点云具有行人和车辆的详细的逐帧标签。LOKI 数据集允许对代理的未来意图进行显式建模，它还显示了有前途的方向，共同推理的意图和轨迹，同时考虑不同的外部因素，如代理。 我们的模型是基于轨迹预测和意图预测的联合模型，我们的方法优于国家的最先进的轨迹预测方法高达 27%，也提供了一个基线帧明智的意图估计。我们的方法可以更好地理解智能体的长期目标和短期意图，从而提高轨迹预测的精度。 在过去的几年中，已经有广泛的研究来预测场景中的动态代理的未来轨迹，例如行人和车辆。这对于诸如自主车辆或社交机器人导航之类的安全关键应用来说是一项非常重要且具有挑战性的任务。虽然这些方法在最近几年有了显著的进步，但很少有基准测试专门测试这些模型是否能够准确地推理出关键。 人类行为作为目标导向实体的研究在心理学、神经科学和计算机视觉的子领域中具有悠久而丰富的跨学科历史。人类决策过程本质上是分层的，由几个层次的推理和规划机制组成，这些机制协同工作，以实现各自的短期和长期愿望。最近的研究表明，明确地推理长期目标和短期意图可以帮助实现目标。 在这项工作中，我们建议将异构（车辆，行人等）的任务。多智能体轨迹预测和意图预测。我们认为，明确地推理智能体的长期目标和短期意图是在我们的工作中，我们将目标定义为智能体在给定预测范围内想要达到的最终位置，而意图是指智能体如何实现其目标。 例如，考虑十字路口处的车辆。在最高层次上，说他们想达到他们的最终目标，向左转到他们的最终目标点，这反过来可能是一些更高层次的结束（如回家）所必需的。然而，其轨迹的精确运动受许多因素的影响，包括 i）代理人自己的意愿，ii）社会交互，iii）环境约束，iv）上下文线索。 因此，当推理智能体我们相信，这种复杂的短期意图和长期目标的层次结构是无处不在的，事实上，至关重要的，代理运动规划，因此扩展，运动预测。我们提出了一种架构，其考虑类似于 [9，5，3，4] 的长期目标，但添加了用于调节轨迹预测模块的逐帧意图估计的关键组件。通过强制模型学习代理的离散短期意图，我们观察到预测模块的性能提高。 同样丰富成功的是使用数据集对计算机视觉进行基准测试的当代历史在 MNIST [11] 和 ImageNet [12] 等基准测试等开创性工作的指导下，基准测试进展和从数据中学习在现代深度学习的成功中发挥了关键作用。目前，不存在允许在高度复杂的环境中对异构代理进行明确的逐帧意图预测的公共数据集。尽管很少有数据集被设计用于从自我中心的角度研究行人的意图或行为 [13，7，6，14]，但这是对自动驾驶任务的广泛研究的固有限制。 因此，我们提出了一个联合轨迹和意图预测数据集，该数据集包含 RGB 图像和对应的 LiDAR 点云，这些点云具有行人和车辆的详细的逐帧标签。LOKI 数据集允许对代理的未来意图进行显式建模它还显示了有前途的方向，共同推理的意图和轨迹，同时考虑不同的外部因素，如代理。 我们表明，通过建模的短期意图和长期目标与明确的监督，通过意图标签，可以实现更好的轨迹预测精度。此外，在每一帧预测一个特定的意图为我们的模型增强了模型的泛化能力和鲁棒性。