단안 비디오로부터 물리적으로 타당한 인간 동작을 재구성하는 것은 컴퓨터 비전과 그래픽스 분야에서 여전히 어려운 문제입니다.

기존 방법들은 주로 운동학 기반 자세 추정에 초점을 맞추고 있으며, 이는 종종 물리적 제약의 부재로 인해 비현실적인 결과로 이어집니다.

이러한 인공물을 해결하기 위해, 이전 방법들은 일반적으로 초기 운동학 기반 동작 추정 이후에 물리 기반 후처리에 의존해 왔습니다.

하지만 이러한 2단계 설계는 오차 누적을 유발하여 궁극적으로 전체 재구성 품질을 제한합니다.

본 논문에서는 물리 기반 시뮬레이터 내에서 휴머노이드 제어를 위한 시각-행동 정책을 직접 학습하는 통합 프레임워크인 PhysHMR을 제시하여, 입력 비디오와 물리적으로 근거가 있으면서 시각적으로 정렬된 동작 재구성을 가능하게 합니다.

우리 접근법의 핵심 구성 요소는 2D 키포인트를 3D 공간 광선으로 들어 올려 전역 공간으로 변환하는 pixel-as-ray 전략입니다.

이러한 광선은 정책 입력으로 통합되어, 노이즈가 많은 3D 루트 예측에 의존하지 않고 강건한 전역 자세 가이던스를 제공합니다.

사전 훈련된 인코더의 지역적 시각 특징과 결합된 이 부드러운 전역 기준 설정(soft global grounding)은 정책이 상세한 자세와 전역 위치 모두에 대해 추론할 수 있게 합니다.

강화학습의 샘플 비효율성을 극복하기 위해, 우리는 모션캡쳐로 훈련된 전문가로부터 시각 조건부 정책으로 동작 지식을 전달하는 증류 기법을 추가로 도입하며, 이는 물리적으로 동기 부여된 강화학습 보상을 사용하여 더욱 정교화됩니다.

광범위한 실험을 통해 PhysHMR이 다양한 시나리오에서 고품질의 물리적으로 타당한 동작을 생성하며, 시각적 정확도와 물리적 현실성 모두에서 이전 접근법들을 능가함을 입증합니다.

단안 비디오로부터 인체의 동역학을 충실하게 재구성하는 것, 즉 Human Mesh Recovery (HMR)은 컴퓨터 비전, 그래픽스, 로보틱스 분야의 근본적인 문제입니다. Rajasegaran et al./2022, Shen et al./2024, Shin et al./2024, Sun et al./2023, Wang et al./2024a, Ye et al./2023, Yuan et al./2022 등 인간 동작 재구성 분야의 최근 발전은 신체 포즈와 형태를 추정하는 데 높은 정확도를 달성했습니다. 하지만, 대부분의 기존 방법들은 물리적으로 그럴듯한 신체 동역학을 간과하여, 발 미끄러짐, 지면 통과, 일관성 없는 접촉 행동과 같은 다양한 이상 현상을 초래합니다 (Fig. 1(b) 참조). 물리적으로 그럴듯한 인간 동작 재구성을 달성하는 것은 여전히 해결되지 않은 어려운 과제로 남아있습니다.

이전 연구들은 사후 보정 단계를 통해 물리적 제약을 도입하려고 시도했습니다. 일부 접근법은 Euler-Lagrange 방정식과 같은 강체 동역학에서 파생된 분석적 사전 지식을 통합하며(Jiang et al./2023, Zhang et al./2024b,a), 다른 접근법들은 강화학습을 활용하여 사전 재구성된 동작을 추적하는 휴머노이드 컨트롤러를 훈련시킵니다(Yuan et al./2021). 이러한 방법들이 어느 정도 물리적 현실성을 향상시키기는 하지만, 공통적인 한계를 공유합니다: 동작이 먼저 시각적 단서만으로 재구성된 후, 별도의 물리 모듈에 의해 정제된다는 점입니다. 이러한 분리된 설계는 단안 비디오에 내재된 모호성을 간과하는데, 동일한 시각적 관찰을 설명할 수 있는 여러 그럴듯한 동작이 존재할 수 있습니다. 재구성 단계에서 단일 해법이 선택되고 나면, 후속 물리 모듈은 더 이상 전체 관찰 맥락에 접근할 수 없게 되어, 최적이 아닌 보정과 시각적 증거와의 제한된 일관성으로 이어집니다 (Fig. 1c 참조).

이러한 한계에 비추어, 우리는 동작 추정과 물리적 추론을 단일 프레임워크 내에서 통합하여 시각적 단서와 물리적 제약이 동일한 의사결정 과정에 정보를 제공하도록 하는 것이 더 효과적인 접근법이라고 주장합니다. 이를 위해, 우리는 PhysHMR을 제안합니다. 이는 단안 비디오 관찰로부터 직접 시뮬레이션된 휴머노이드를 제어하기 위한 시각-행동 정책(visual-to-action policy)을 직접 학습하는 새로운 프레임워크로, 시각적으로 일관되면서도 물리적으로 그럴듯한 동작 재구성을 가능하게 합니다. 이전의 2단계 접근법들과 달리, PhysHMR은 시각적 관찰과 물리적 동역학을 공동으로 추론하는 단일 정책 네트워크를 통해 두 단계를 통합합니다. Makoviychuk et al./2021의 물리 기반 시뮬레이터 내에서 동작을 실행함으로써, 지면 접촉, 관절 한계, 운동량 보존과 같은 물리적 제약을 자연스럽게 강제합니다. 정책을 이미지 특징에 직접 조건화함으로써, 우리는 골격 포즈 추정을 넘어선 풍부한 시각적 맥락을 활용할 수 있으며, 휴머노이드가 물리 법칙을 준수하면서 입력 비디오와 충실하게 정렬되는 동작을 생성할 수 있게 합니다.

순수하게 강화학습만으로 고차원 시각-제어 정책을 훈련하는 것은 종종 샘플 비효율적이고 불안정합니다(Luo et al./2024a). 이러한 문제들을 해결하기 위해, PhysHMR은 모션캡처로 훈련된 전문가로부터 지식을 전달하는 증류 전략(distillation strategy)을 제안하여, 시각-행동 정책의 훈련을 용이하게 합니다. 구체적으로, 사전 훈련된 시각 인코더(Shen et al./2024)가 각 비디오 프레임에서 특징을 추출하며, 이는 제어 정책을 위한 지역적 포즈 참조로 사용됩니다. 이 특징들은 잠재적으로 부정확한 3D 재구성에 얽매이지 않으면서도 풍부한 포즈 정보를 유지합니다. 고품질 모션 캡처 데이터로 훈련된 전문가 컨트롤러는 강력한 인간 동작 사전 지식을 부여하는 행동 감독을 제공하여, 수렴을 크게 가속화하고 학습을 안정화시킵니다. 정책은 동작 모방, 적대적 동작 사전을 통한 현실성, 그리고 물리적 부드러움의 균형을 맞추는 복합 보상을 사용하여 강화학습으로 더욱 정제됩니다.

물리적 타당성은 지역 포즈 공간이 아닌 전역 포즈 공간에서 평가되어야 하므로, 이미지로부터의 지역 포즈 참조 외에 전역 포즈 정보(즉, 루트 관절 위치)를 추정하는 것이 필요합니다. 그러나 단안 비디오에서 3D 루트 관절 위치를 예측하는 것은 종종 노이즈가 많아, 정책 일반화의 견고성을 심각하게 저해합니다. 이는 지역 포즈 추정치와 잘못된 3D 루트 예측 사이의 불일치가 부자연스러운 전역 동작으로 이어질 수 있기 때문입니다. 예를 들어, 지역 포즈는 앞으로 움직이는 것을 나타내지만, 노이즈 낀 루트 예측이 동작을 뒤로 당겨 떨리거나 불안정한 행동을 유발할 수 있습니다. 이러한 불일치는 정책이 전역 공간에서 물리적으로 일관된 동역학을 생성하기 어렵게 만듭니다.

이를 해결하기 위해, 명시적인 3D 루트 예측에 의존하는 대신, 우리는 여러 감지된 2D 키포인트를 3D 광선으로 변환하여 부드러운 전역 포즈 참조(soft global pose reference)로 사용합니다. 이러한 공간적 광선은 정책이 엄격한 절대 3D 루트 입력을 요구하지 않고도 휴머노이드를 전역적으로 일관된 포즈로 변환하는 행동을 예측하도록 조건화합니다. 이 접근법은 부드러운 전역 정보를 제공하고, 정책 실행의 견고성을 향상시키며, 물리적으로 그럴듯한 인간 동작 재구성을 가능하게 합니다.

우리는 Human3.6M, AIST++, EMDB2를 포함한 도전적인 동작 데이터셋에서 PhysHMR을 평가하여, 최첨단 운동학 기반 방법들과 비교할 만한 동작 정확도를 보이면서도 물리적 타당성을 크게 향상시켰음을 보여줍니다. 우리의 접근법은 일반적인 비물리적 이상 현상(예: 발 미끄러짐, 지면 통과)을 줄여, 재구성된 동작이 시뮬레이션, 애니메이션, 로보틱스와 같은 후속 응용 분야에 더 적합하도록 만듭니다.

요약하자면, 우리의 기여는 세 가지입니다:

• 우리는 인간 동작 인식과 제어를 공동으로 수행하는 최초의 통합 프레임워크인 PhysHMR을 제시하여, 단안 비디오로부터 고품질의 물리적으로 그럴듯한 인간 동작 재구성을 가능하게 합니다.

• 우리는 사전 훈련된 모캡 모방 정책으로부터 시각-행동 정책을 증류하는 증류 접근법을 도입하여, 수렴을 가속화하고 정책 학습을 안정화시킵니다.

• 우리는 2D 키포인트를 3D 공간 광선으로 변환하는 부드러운 전역 접지 전략(soft global grounding strategy)을 제안하여, 노이즈가 많은 3D 루트 예측의 필요성을 피하고 전역 공간에서 물리적으로 그럴듯한 동작의 견고한 정책 학습을 가능하게 합니다.

파라메트릭 인간 모델 [Loper/2015/SMPL; Osman/2020/STAR; Pavlakos/2019/SMPL-X; Xu/2020/GHUM&GHUML]은 단안 비디오로부터 인간의 움직임을 재구성하는 데 널리 채택되어 왔습니다.

초기 연구들 [Arnab/2019/Temporal Context; Bogo/2016/Keep It SMPL; Huang/2017/Towards 3D Human Pose; Xiang/2019/Monocular 3D Human Pose]은 이러한 모델들을 개별 이미지 프레임에 맞추는 데 중점을 두었습니다.

보다 최근에는, 대규모 데이터셋을 활용하는 회귀 기반 접근법들이 범용적인 인간 메쉬 복원을 달성할 수 있는 능력으로 주목받고 있습니다 [Cai/2023/Human-Art; Goel/2023/HMR2.0; Yin/2025/One-Stage].

동적인 카메라 움직임을 설명하기 위해, 데이터 기반 방법들은 프레임별 카메라 포즈를 추정하도록 확장되었습니다 [Shin/2024/Glocal; Sun/2023/TCM; Yuan/2022/GLoT].

추가적으로, SLAM (동시적 위치 추정 및 지도 작성) 기술은 견고한 카메라 움직임 추정에 효과적임이 입증되었으며, 복잡한 시나리오에서 인간 동작 복원을 더욱 향상시켰습니다 [Wang/2024/Vid2Avatar].

HuMoR [Rempe/2021/HuMoR]는 포즈 추정에서 시간적 일관성과 견고성을 향상시키는 생성적 동작 사전 지식(generative motion prior)을 학습합니다.

인간 메쉬 복원에서 이러한 발전에도 불구하고, 순수한 운동학적 방법들은 종종 발 미끄러짐, 지면 통과, 운동량 불일치와 같은 인공물(artifacts)을 보입니다.

이러한 인공물을 해결하기 위해, 이전 연구들은 그럴듯한 동역학을 장려하기 위한 보조적인 감독(supervision)으로 물리적 사전 지식(physical prior)을 사용해왔습니다.

PhysPT [Zhang/2024/PhysPT]는 강체 동역학을 강제하기 위해 미분 가능한 오일러-라그랑주 손실을 사용하여 운동학적 움직임을 정제하는 신경망 모듈을 제안합니다.

IPMAN [Tripathi/2023/IPMAN]은 단안 포즈 추정에 손실 함수를 통해 직관적인 물리 단서를 통합하지만, 완전한 물리 동역학을 강제하지 않는 운동학 기반 접근법으로 남아 있습니다.

D&D [Li/2022/D&D]는 외부 힘을 추정하고 뉴턴 동역학과의 일관성을 강제하기 위해 해석적 물리 계산을 적용하여 운동학적 움직임을 정제합니다.

이러한 방법들이 물리적 사실성을 어느 정도 향상시키기는 하지만, 운동학적 재구성 결과에 대한 사후 정제(post-hoc refinement)로 작동하여, 운동학 기반 인간 메쉬 복원 단계의 모호성으로부터 회복하기 어렵게 만듭니다.

더욱이, 물리적 일관성은 명시적인 물리 시뮬레이션보다는 신경망 근사를 통해 강제되므로, 전체 파이프라인이 근본적으로 운동학 기반이며 물리 제어와 분리되어 있습니다.

2.2 Physics-based Human Motion Imitation (물리 기반 인간 동작 모방)

물리 시뮬레이션 플랫폼 [Makoviychuk/2021/Isaac Gym; Todorov/2012/MuJoCo]은 강화 학습과 결합하여 시뮬레이션된 캐릭터의 물리적으로 기반한 제어를 가능하게 하여, 매우 사실적인 인간 움직임을 생성해왔습니다 [Dou/2023/UniMoCap; Peng/2018/DeepMimic, 2022/AMP, 2021/ASE; Tessler/2023/Sym-DREAM; Wang/2024/RoboImit].

PPR [Yang/2023/PPR]은 그럴듯한 비디오 기반 재구성을 위해 물리 사전 지식을 활용하며, 미분 가능한 동역학 모델 [Gärtner/2022/Differentiable Simulation]은 종단 간 최적화에 물리를 통합합니다.

대규모 모션 캡처 데이터셋 [Kobayashi/2023/HumanAPI; Mahmood/2019/AMASS; Peng/2021/Motion-Matching]에서 정책을 훈련함으로써, 많은 연구들이 학습된 제어 정책을 통해 높은 충실도의 동작 모방을 시연했습니다 [Luo/2024/SimXR, 2023/PHC, 2022/CaL-QL; Peng/2018/SFV; Tessler/2024/DiMo; Wagener/2022/MoCapDeform; Winkler/2022/Physics-based].

PhysCap [Shimada/2020/PhysCap]은 실시간 물리 시뮬레이션으로 단안 캡처를 제약합니다.

그러나 이러한 정책들은 깨끗한 3D 동작 참조 데이터를 추적하도록 훈련되어, 그러한 데이터가 없을 때 일반화하는 데 어려움을 겪습니다.

PHC [Luo/2023/PHC]는 비디오에서 3D 키포인트를 동작 참조로 추정하지만, 2단계 설계는 제어를 시각적 입력과 분리시켜 종종 지터와 부자연스러운 움직임을 초래합니다.

더욱이, 이전 방법들은 강화 학습에 크게 의존하는데, 이는 일반적으로 낮은 샘플 효율성으로 어려움을 겪습니다.

따라서, 이들은 풍부한 시각 정보를 완전히 활용하는 데 어려움을 겪고, 대신 3D 키포인트나 운동학 기반 표현과 같은 희소하고 결정적인 입력에 주로 의존합니다.

simXR [Luo/2024/SimXR]은 VR 환경에서 비전-투-액션 정책을 훈련시키기 위해 증류 전용 기법을 사용합니다.

이 방식은 강화 학습의 필요성을 피하지만, 제한된 데이터와 탐색의 부재로 인해 견고성이 부족합니다.

대조적으로, 우리의 공동 PPO+증류 훈련은 안정성과 일반화를 상당히 향상시켜, 순수 증류 접근법에 비해 명확한 이점을 보여줍니다.

시각적 증거와 직접적으로 정렬되는 인간 동작 재구성을 위한 시각 조건부 정책 학습은 여전히 대체로 미개척된 과제로 남아 있습니다.

파라미터 기반 인간 모델(Loper/2015/SMPL, Osman/2020/STAR, Pavlakos/2019/SMPL-X, Xu/2020/GHUM&GHUML)은 단안 비디오로부터 인간의 움직임을 복원하기 위해 널리 채택되어 왔습니다. 초기 연구들(Arnab/2019/Temporal Context, Bogo/2016/Keep It SMPL, Huang/2017/Towards 3D Human Pose, Xiang/2019/Monocular 3D Human Pose)은 이러한 모델들을 개별 이미지 프레임에 맞추는 데 집중했습니다. 더 최근에는, 대규모 데이터셋을 활용하는 회귀 기반 접근법들이 범용적인 인간 메시 복원을 달성할 수 있는 능력으로 주목받고 있습니다(Cai/2023/Human-Art, Goel/2023/HMR 2.0, Yin/2025/One-Stage). 동적인 카메라 움직임을 설명하기 위해, 데이터 기반 방법들은 프레임별 카메라 포즈를 추정하도록 확장되었습니다(Shin/2024/ReliPose, Sun/2023/TARS, Yuan/2022/GLAMR). 추가적으로, SLAM(동시적 위치 추정 및 지도 작성) 기술은 강건한 카메라 움직임 추정에 효과적인 것으로 입증되어, 복잡한 시나리오에서 인간 움직임 복원을 더욱 향상시켰습니다(Wang/2024/Vid2Avatar). HuMoR(Rempe/2021/HuMoR)는 포즈 추정에서 시간적 일관성과 강건성을 향상시키는 생성적 움직임 사전 지식을 학습합니다. 인간 메시 복원에서 이러한 발전에도 불구하고, 순수 운동학적 방법들은 종종 발 미끄러짐, 지면 통과, 운동량 불일치와 같은 문제점들을 보입니다.

이러한 문제점들을 해결하기 위해, 이전 연구들은 그럴듯한 동역학을 장려하기 위한 보조적인 감독 정보로 물리적 사전 정보를 사용해왔습니다. PhysPT(Zhang/2024/PhysPT)는 강체 동역학을 강제하기 위해 미분 가능한 오일러-라그랑주 손실을 사용하여 운동학적 움직임을 개선하는 신경망 모듈을 제안합니다. IPMAN(Tripathi/2023/IPMAN)은 직관적인 물리 신호를 손실 함수를 통해 단안 포즈 추정에 통합하지만, 완전한 물리 동역학을 강제하지는 않아 운동학 기반 접근 방식에 머물러 있습니다. D&D(Li/2022/D&D)는 외부 힘을 추정하고 해석적인 물리 계산을 적용하여 운동학적 움직임을 개선하고, 뉴턴 동역학과의 일관성을 강제합니다. 이러한 방법들이 어느 정도 물리적 현실성을 향상시키지만, 이들은 운동학적 복원에 대한 사후 개선 작업으로 동작하여, 운동학 기반 인간 메시 복원 단계의 모호함으로부터 회복하기 어렵게 만듭니다. 더욱이, 물리적 일관성은 명시적인 물리 시뮬레이션이 아닌 신경망 근사를 통해 강제되므로, 전체 파이프라인이 근본적으로 운동학 기반이며 물리적 제어와 분리된 상태로 남게 됩니다.

물리 시뮬레이션 플랫폼(Makoviychuk et al. 2021; Todorov et al. 2012)은 강화 학습과 결합하여 시뮬레이션된 캐릭터의 물리 기반 제어를 가능하게 했으며, 매우 사실적인 인간 동작을 생성해냈습니다(Dou et al. 2023; Peng et al. 2018a, 2022, 2021a; Tessler et al. 2023; Wang et al. 2024b). PPR(Yang et al. 2023)은 그럴듯한 비디오 기반 재구성을 위해 물리적 사전 지식을 활용하며, 미분 가능한 동역학 모델(Gärtner et al. 2022)은 물리를 종단간 최적화에 통합합니다. 대규모 모션 캡처 데이터셋(Kobayashi et al. 2023; Mahmood et al. 2019; Peng et al. 2021b)에서 정책을 훈련함으로써, 많은 연구들이 학습된 제어 정책을 통해 높은 충실도의 동작 모방을 시연했습니다(Luo et al. 2024b, 2023, 2022; Peng et al. 2018b; Tessler et al. 2024; Wagener et al. 2022; Winkler et al. 2022a). PhysCap(Shimada et al. 2020)은 실시간 물리 시뮬레이션으로 단안 캡처를 제약합니다. 하지만 이러한 정책들은 깨끗한 3D 동작 참조를 추적하도록 훈련되었기 때문에, 그러한 데이터가 없을 때 일반화에 어려움을 겪습니다. PHC(Luo et al. 2023)는 영상에서 3D 키포인트를 추정하여 동작 참조로 사용하지만, 2단계 설계는 제어를 시각적 입력과 분리시켜 종종 지터와 부자연스러운 동작으로 이어집니다.

더욱이, 이전 방법들은 강화 학습에 크게 의존하는데, 이는 일반적으로 낮은 샘플 효율성으로 어려움을 겪습니다. 따라서, 이 방법들은 풍부한 시각적 정보를 완전히 활용하는 데 어려움을 겪고, 대신 3D 키포인트나 운동학 기반 표현과 같은 희소하고 결정적인 입력에 주로 의존합니다. simXR(Luo et al. 2024a)은 VR 환경에서 비전-투-액션 정책을 훈련시키기 위해 증류만 사용하는 방식을 사용합니다. 이 방식은 강화 학습의 필요성을 피하지만, 제한된 데이터와 탐색의 부재로 인해 강건성이 부족합니다. 이와 대조적으로, 우리의 PPO와 증류를 결합한 훈련 방식은 안정성과 일반화 성능을 상당히 향상시키며, 순수한 증류 방식에 비해 명확한 이점을 보여줍니다.

시각적 증거와 직접적으로 일치하는 인간 동작 재구성을 위한 비전 조건부 정책을 학습하는 것은 여전히 대부분 탐구되지 않은 과제로 남아있습니다.

우리는 물리적으로 타당한 인간 동작 재구성을 목표 조건부, 물리 기반 동작 모방 문제로 공식화합니다. 구체적으로, 우리는 심층 강화 학습(DRL)을 사용하여 시뮬레이션된 휴머노이드 Luo/2023/PHC가 물리적 환경 내에서 동작 시퀀스를 모방하도록 유도하는 정책(policy)을 훈련시키며, 이때 목표 신호를 가이던스로 사용합니다. 정책 $\pi$는 마르코프 결정 과정(MDP)으로 모델링되며, 튜플 $M = \langle S, A, T, R, \gamma \rangle$로 정의됩니다. 여기서 $S, A, T, R, \gamma$는 각각 상태 공간, 행동 공간, 전이 동역학, 보상 함수, 할인 계수를 나타냅니다.

각 타임스텝 $t$에서 상태 $s_t$는 고유수용성 정보 $s_p^t$와 목표 정보 $s_g^t$로 구성됩니다. 여기서 $s_p^t$는 지역 3D 포즈 $q_t$와 속도 $\dot{q}_t$를 포함합니다. 전통적인 동작 모방 작업에서 목표 $s_g^t$는 일반적으로 지역 포즈, 전역 이동, 전역 회전을 인코딩하는 참조 궤적 $(\theta_t, \Gamma_t, \tau_t)$으로 정의됩니다. 우리 방법에서는 목표 정보가 입력 비디오에서 추출되며, 이는 프레임 수준의 시각적 특징과 pixel-as-ray 전략으로 계산된 전역 공간 가이던스를 포함합니다. 이 설계는 정책이 동작 모방을 위해 시각적 관찰을 직접 활용할 수 있게 합니다 (섹션 4 참조).

행동 $a_t$는 목표 관절 회전을 지정하며, 이는 물리적으로 유효한 동작을 생성하기 위해 비례-미분(PD) 제어기에 제어 목표로 제공됩니다. 각 타임스텝 $t$에서 휴머노이드 에이전트는 정책 $\pi(a_t|s_t)$로부터 행동 $a_t \in A$를 샘플링하며, 여기서 $s_t \in S$는 휴머노이드의 현재 상태입니다. 그 후 행동은 물리 시뮬레이터에서 실행되어 다음 상태 $s_{t+1} = T(s_t, a_t)$와 이 행동에 대한 보상 $r_t = R(s_t, a_t)$를 생성합니다. 우리는 Proximal Policy Optimization (PPO)을 사용하여 정책을 최적화하며, 목표는 기대 할인 누적 보상 $E[\sum_{t=1}^{N} \gamma^{t-1}r_t]$를 최대화하는 것입니다.

저희는 Proximal Policy Optimization (PPO)을 사용하여 정책을 최적화하며, 목표는 기대 할인 총수익을 최대화하는 것입니다: Eq. : 강화학습 목표 함수$$E\left[\sum_{t=1}^{N} \gamma^{t-1} r_t\right]$$이 수식은 강화학습의 목표인 기대 할인 총수익을 나타냅니다. 에이전트는 시간 단계 $t$마다 받는 보상 $r_t$에 할인율 $\gamma$를 적용하여 현재 가치를 계산하고, 이 총합의 기댓값을 최대화하는 방향으로 정책을 학습합니다.

그림 2는 저희 방법의 개요를 보여줍니다.

$N$개의 프레임 {${I_t}$}$_{t=1}^{N}$으로 구성된 단안 비디오가 주어졌을 때, 우리의 목표는 물리적으로 그럴듯한 인간 동작 시퀀스를 재구성하는 것입니다. 이 시퀀스는 월드 좌표계에서 지역 자세 {${\theta_t \in \mathbb{R}^{23 \times 3}}$}$_{t=1}^{N}$, 전역 이동 {${\Gamma_t \in \mathbb{R}^3}$}$_{t=1}^{N}$, 그리고 방향 {${\tau_t \in \mathbb{R}^3}$}$_{t=1}^{N}$으로 구성됩니다.

이전 연구들[Shen et al. 2024; Ye et al. 2023]은 전역 루트 변환에 불변하면서 상대적인 관절 움직임을 포착하는 로컬 모션 특징이 효과적인 모션 학습에 매우 중요하다는 것을 보여줍니다. 이러한 특징들은 카메라 움직임과 깊이 모호성 때문에 이미지로부터 명시적으로 추론하기 어렵습니다. 따라서, 저희는 부모 관절에 대한 상대적인 SMPL 관절 회전을 예측하도록 훈련된 GVHMR[Shen et al. 2024]의 사전 훈련된 비디오 인코더를 사용할 것을 제안합니다. 이는 자연스럽게 로컬 제어를 위한 구조화되고 물리적으로 의미 있는 입력으로 사용될 수 있는 루트 불변의 시각적 특징을 생성합니다. 단일의 잠재적으로 부정확한 추정치에 고정되는 명시적인 포즈 재구성과 달리, 이러한 시각적 특징들은 결정론적인 포즈로 축소되지 않고 풍부한 포즈 관련 정보를 유지합니다.

비디오 프레임 {$I_t$}$_{t=1}^N$이 주어지면, 먼저 각 프레임 $I_t$를 전처리하여 이미지 특징[Goel et al. 2023], 바운딩 박스[Jocher et al. 2023; Li et al. 2022b], 2D 키포인트[Xu et al. 2022], 그리고 상대적 카메라 회전[Teed et al. 2023]을 추출하며, 이를 각각 $f_{\text{feat}_t}$, $f_{\text{bbox}_t}$, $f_{\text{kp2d}_t}$, $f_{\text{cam}_t}$로 표기합니다. 이 프레임별 특징들은 비디오 인코더에 입력되어 프레임 간 정보를 집계합니다: {$F_t$}$_{t=1}^N = \text{Enc}_{\text{GVHMR}}(\{f_{\text{feat}_t}, f_{\text{bbox}_t}, f_{\text{kp2d}_t}, f_{\text{cam}_t}\}_{t=1}^N) \in \mathbb{R}^{N \times D}$, 여기서 $D$는 특징 차원입니다. 프레임 간 융합 과정은 가려짐 상황에서의 안정성을 향상시킬 뿐만 아니라, 유연한 특징 마스킹을 지원하여 모델이 부분적인 입력으로도 작동할 수 있게 합니다. 이러한 유연성 덕분에 훈련 중에 AMASS[Mahmood et al. 2019]와 같은 모션 전용 데이터셋을 쌍을 이루는 RGB 이미지가 없는 경우에도 사용할 수 있습니다. 즉, $f_{\text{feat}_t}$는 제외됩니다.

로컬 특징이 재구성의 견고성을 강화하지만, 시뮬레이션은 월드 좌표계에서 수행되어야 하므로 정확한 물리 학습은 여전히 전역 가이던스를 필요로 합니다. 따라서, 저희는 GVHMR의 다중 작업 MLP 헤드를 활용하여 시각적 특징 $F_t$로부터 미래의 루트 방향 $\bar{\tau}_{t+1}$을 명시적으로 회귀함으로써 로컬 관찰을 강화합니다. 이 보조 예측은 카메라 좌표계에서 전역 루트 방향에 대한 미래 예측 추정치를 제공합니다. 저희는 $\bar{\tau}_{t+1}$을 월드 프레임으로 변환하고, 휴머노이드 에이전트의 현재 루트 포즈 $\tau_t$와의 상대적 차이를 다음과 같이 계산합니다: $\Delta\tau_t = \tau_t^{-1} \bar{\tau}_{t+1}$. 이 신호는 에이전트의 미래 진행 방향을 안내하는 명시적인 방향 단서를 제공합니다. 저희는 각 타임스텝 $t$에서 정책에 전달되는 관찰에 시각적 특징 $F_t$와 상대적 루트 방향 $\Delta\tau_t$를 모두 포함합니다.

에이전트의 미래 진행 방향을 유도합니다. 우리는 각 타임스텝 $t$에서 정책에 전달되는 관측값에 시각적 특징 $F_t$와 상대적 루트 방향 $\Delta\tau_t$를 모두 포함합니다.

특히 카메라 움직임이 포함될 때, 물리적으로 타당한 모션 재구성을 위해서는 정확한 전역 위치 결정이 매우 중요합니다.

하지만 단안 비디오에서 3D 궤적을 직접 예측하는 것은 깊이 모호성과 모션 노이즈 때문에 종종 신뢰할 수 없습니다.

이러한 궤적 오차는 추적 기반 제어 정책의 성능을 크게 저하시켜 불안정한 움직임으로 이어질 수 있습니다.

이 문제를 해결하기 위해, 우리는 명시적인 위치 목표를 강제하지 않으면서 전역 유도를 인코딩하는 pixel-as-ray (픽셀-광선) 전략을 제안합니다.

추출된 2D 키포인트, $f_{\text{kp2d}}^t = \{(u_i^t, v_i^t)\}_{i=1}^J$ (프레임 $t$에서 시뮬레이션된 휴머노이드의 각 관절 $i$의 이미지 공간 위치를 나타냄)와 카메라 내부 파라미터 행렬 $K$가 주어지면, 우리는 각 키포인트를 역투영하여 3D를 얻습니다.

표 1: AIST++ 및 EMDB2 데이터셋에서 운동학적 및 물리적 타당성 지표에 대한 저희 동작 재구성 변형 모델들의 비교. 낮을수록 좋습니다.

모든