安全强化学习是一种用于安全关键决策的标准范式。然而，现实世界中的安全约束往往复杂、主观，甚至难以明确指定。现有的约束推断方法依赖于严格的假设或大量的专家示范，这在许多实际应用中并不现实。如何以低成本和高可靠性学习这些约束是本研究关注的主要挑战。通过从人类偏好中推断约束提供了一种数据高效的替代方案，但发现流行的Bradley-Terry模型未能捕捉安全成本的非对称性和重尾特性，导致风险低估。文献中对...