그림 4에서 접촉 추정 방법인 DECO [Tripathi/2023/DECO]와의 비교 예시를 보여줍니다.

우리의 공동 최적화는 DECO로부터의 접촉 추정에 의해 가이드되는데, 이는 노이즈가 있을 수 있습니다.

하지만, 우리의 접근 방식은 정확한 인간-장면 상호작용을 강건하게 복구하고 접촉을 더욱 개선하며, 특히 발과 팔과 같은 복잡한 신체 부위에서 뛰어난 성능을 보입니다.

추가적인 예시는 그림 6에서 찾아볼 수 있습니다.

단일 이미지로부터 미터 단위로 정확한 인간과 주변 장면을 재구성하는 것은 가상 현실, 로보틱스, 그리고 포괄적인 3D 장면 이해에 매우 중요합니다.

하지만 기존 방법들은 깊이 모호성, 가려짐(occlusion), 그리고 물리적으로 일관되지 않은 접촉 문제로 어려움을 겪습니다.

이러한 문제들을 해결하기 위해, 우리는 물리적으로 그럴듯한 인간-장면 상호작용 및 접촉 재구성을 위한 통합 프레임워크인 PhySIC을 소개합니다.

PhySIC은 단일 RGB 이미지로부터 공유된 좌표계 내에서 미터 단위로 일관된 SMPL-X 인간 메시, 밀도 높은 장면 표면, 그리고 정점 수준의 접촉 맵을 복원합니다.

개략적인 단안 깊이 및 파라메트릭 신체 추정치에서 시작하여, PhySIC은 가려짐을 인지하는 인페인팅을 수행하고, 가시 깊이와 스케일이 없는 기하학 정보를 융합하여 견고한 초기 미터 단위 장면 골격을 만들며, 바닥과 같이 누락된 지지 표면을 합성합니다.

이후 신뢰도 가중 최적화는 깊이 정렬, 접촉 사전 정보, 상호 관통 방지, 2D 재투영 일관성을 공동으로 강제함으로써 신체 포즈, 카메라 파라미터, 전역 스케일을 정교화합니다.

명시적인 가려짐 마스킹은 보이지 않는 신체 부위가 비현실적인 형태로 구성되는 것을 방지합니다.

PhySIC은 매우 효율적이어서, 공동 인간-장면 최적화에 단 9초, 전체 종단 간 재구성 과정에 27초 미만이 소요됩니다.

더욱이, 이 프레임워크는 자연스럽게 여러 명의 인간을 처리하여 다양한 인간-장면 상호작용의 재구성을 가능하게 합니다.

경험적으로, PhySIC은 단일 이미지 기반 모델들을 상당히 능가하며, 평균 정점별 장면 오차를 641mm에서 227mm로 줄이고, 포즈 정렬된 평균 관절 위치 오차(PA-MPJPE)를 42mm로 절반으로 줄이며, 접촉 F1-점수를 0.09에서 0.51로 향상시킵니다.

정성적 결과는 PhySIC이 현실적인 발-바닥 상호작용, 자연스러운 착석 자세, 그리고 심하게 가려진 가구의 그럴듯한 재구성을 산출함을 보여줍니다.

단일 이미지를 물리적으로 그럴듯한 3D 인간-장면 쌍으로 변환함으로써, PhySIC은 접근성 있고 확장 가능한 3D 장면 이해를 발전시킵니다.

저희 구현물은 https://yuxuan-xue.com/physic 에서 공개적으로 이용 가능합니다.

인간과 주변 환경에 대한 총체적인 3D 이해는 체화된 AI, 스포츠 분석, 증강 현실과 같은 신흥 기술에 필수적입니다. 이러한 응용 프로그램들은 정밀한 장면 지오메트리, 장면 내 인간의 정확한 위치 파악, 그리고 일관성 있는 지면 접촉 추정을 요구합니다. 하지만 기존의 방법들은 보통 인간이 없는 정적 장면만을 고려하거나(Chen/2019/Scene Reconstruction), 주어진 3D 장면을 가정한 상태에서 인간의 포즈 추정만을 다룹니다(Hassan/2019a/PROX). 최근의 방법인 HolisticMesh(Weng/2021/HolisticMesh)는 단일 RGB 이미지로부터 장면과 인간을 모두 예측할 수 있습니다. 그럼에도 불구하고, 이 방법은 특정 실내 가구 카테고리와 상호작용하는 단일 인간에 국한되어 있어, 임의의 장면 유형으로 확장되지 못합니다. HSR(Xue/2024/HSR)이나 HSfM(Müller/2024/HSfM)과 같은 더 최근의 접근 방식들은 총체적인 인간-장면 재구성을 달성하지만, 각각 비디오 입력이나 다중 시점 이미지를 필요로 하여 단일 이미지 시나리오에 대한 적용성을 제한합니다.

그러나 다양한 장면 유형과 장면에 상호작용하는 임의의 수의 인간을 처리할 수 있는 일반적인 방법을 갖는 것은 매우 어려운 일입니다. 모델은 서로 다른 장면 지오메트리, 깊이-스케일 모호성 하에서의 복잡한 인간-장면 접촉, 인간 포즈와 장면 지오메트리 양쪽에 대한 가려짐(occlusion)을 모두 단일 RGB 이미지로부터 추론해야 하며, 동시에 실제적인 응용을 위해 빨라야 합니다.

이러한 문제들을 해결하기 위한 우리의 아이디어는 파운데이션 모델로부터의 강력한 지오메트리 사전 지식을 활용하여 인간과 장면에 대해 동시에 추론하는 것입니다. 상호작용 동안, 장면은 가능한 인간의 포즈를 물리적으로 제한하고, 인간의 포즈는 장면 지오메트리와 스케일을 추정하는 데 결정적인 단서를 제공합니다. 이러한 관찰에 기반하여, 우리는 단일 RGB 이미지로부터 물리적으로 그럴듯한 인간-장면 상호작용 및 접촉을 재구성하는 PhySIC을 제안합니다. 거친 단안 깊이와 초기 파라메트릭 신체 추정치에서 시작하여, 우리 방법은 신뢰할 수 있는 깊이 정렬, 현실적인 접촉 유도, 상호 침투 방지, 그리고 2D 재투영 일관성을 조화시키는 목적 함수를 통해 이러한 구성 요소들을 공동으로 최적화하여, 일관성 있는 3D 인간-장면 재구성을 만들어냅니다. 본질적으로, PhySIC은 단일 RGB 이미지를 (i) 미터 스케일의 SMPL-X 인간 메시, (ii) 조밀한 표면과 바닥과 같은 필수 지지 구조를 포함하는 포괄적인 장면 표현, 그리고 (iii) 공유된 미터 좌표계 내의 정점 수준의 조밀한 접촉 맵으로 변환합니다. 우리 프레임워크는 매우 효율적이며 27초 이내에 하나의 이미지를 처리할 수 있어, 일상의 이미지들을 물리적으로 일관된 3D 인간-장면 쌍으로 변환하는 것을 가능하게 합니다. 이는 확장 가능한 단일 이미지 3D 이해의 길을 엽니다.

우리는 PROX(Hassan/2019a/PROX)와 RICH(Huang/2022/RICH) 데이터셋에서 PhySIC을 평가했습니다. 결과는 우리 방법이 이전 SOTA인 HolisticMesh(Weng/2021/HolisticMesh)를 상당히 능가함을 보여줍니다: PROX 데이터셋에서 우리 방법은 인간 포즈의 평균 관절 오차를 77mm에서 42mm로, 접촉 F1 점수를 0.39에서 0.51로 개선했습니다. 다양한 인터넷 이미지에 대한 실험은 다양한 상호작용 및 장면 유형에 대한 우리 접근 방식의 뛰어난 적용 가능성을 입증합니다. 우리의 기여는 다음과 같이 요약됩니다:

• 우리는 다수의 인간, 다양한 장면 및 상호작용 유형을 처리할 수 있는 최초의 미터 스케일 인간-장면 재구성 방법인 PhySIC을 제안합니다.

• 우리는 강건한 초기화 전략과 가려짐을 인지하는 공동 최적화를 도입하여, 인간 장면 재구성을 위한 귀중한 통찰력을 제공합니다.

• 우리의 매우 효율적인 재구성 파이프라인은 공개될 예정이며, 인간 장면 재구성 및 상호작용 데이터 수집을 대중화할 것입니다.

단안 이미지로부터 3D 인체의 형태와 포즈를 재구성하는 것은 상당한 발전을 이루어 왔으며, 특히 SMPL Loper et al./2015/SMPL과 손과 얼굴을 포함한 표현력 있는 전신 추정을 가능하게 하는 그 확장판인 SMPL-X Pavlakos et al./2019/SMPL-X와 같은 파라메트릭 모델에서 두드러졌습니다.

SMPLify Bogo et al./2016/SMPLify와 같은 초기 방법들은 2D 관절 검출에 맞추기 위해 신체 파라미터를 최적화했습니다.

이후 HMR Kanazawa et al./2018/HMR, SPIN Kolotouros et al./2019/SPIN, 그리고 PARE Kocabas et al./2021/PARE를 포함한 딥러닝 방법들은 가려짐과 잘림에 대한 강인성을 향상시키기 위해 종단 간 회귀 및 어텐션 메커니즘을 도입했습니다.

WHAM Shin et al./2024/WHAM과 TRAM Wang et al./2024a/TRAM은 인체 메시 복구를 SLAM 기반 카메라 추적과 결합하여, 단안 비디오로부터 월드 좌표계에서 SMPL 신체의 정확한 전역 위치 파악을 가능하게 합니다.

최근에는 NLF Sárándi and Pons-Moll/2024/NLF와 같은 대규모 학습 기반 모델들이 2,500만 개 이상의 주석이 달린 프레임을 활용하여 단일 이미지로부터 SMPL-X 파라미터와 전역 위치를 직접 회귀하며, 다양한 장면과 포즈에 걸쳐 최첨단 일반화 성능과 정확도를 달성합니다.

이러한 발전에도 불구하고, 기존 방법들은 종종 물리적 상호작용이나 주변 3D 장면과의 일관성에 대한 명시적인 추론이 부족하여, 공중에 떠 있거나, 정렬이 맞지 않거나, 물리적으로 비현실적인 인체 재구성으로 이어집니다.

저희 연구는 재구성된 장면과 명시적으로 일관성을 갖는, 미터 단위로 정렬되고 물리적으로 타당한 인체 복구를 가능하게 함으로써 이러한 문제들을 해결합니다.

단안 3D 장면 재구성을 위한 초기 방법들은 단일 RGB 이미지로부터 레이아웃, 객체 배치, 메시를 복구하기 위해 기하학적 및 의미론적 사전 지식을 활용했습니다.

이들 중 주목할 만한 것은 방 레이아웃과 객체 포즈를 공동으로 추론하는 Total3D Nie et al./2020/Total3D입니다.

Mesh R-CNN Gkioxari et al./2019/Mesh R-CNN과 MonoScene Cao and de Charette/2022/MonoScene은 객체 중심의 메시 예측과 의미론적 장면 완성을 더욱 발전시켰습니다.

ZoeDepth Bhat et al./2023/ZoeDepth, Metric3D Hu et al./2024/Metric3D, 그리고 DepthPro Bochkovskii et al./2024/DepthPro와 같은 단안 깊이 추정의 최근 혁신들은 대규모 사전 학습과 트랜스포머를 사용하여 선명하고 스케일이 일관된 깊이를 예측하며, 현실적인 미터 단위 포인트 클라우드 추출을 가능하게 합니다.

Gen3DSR Ardelean et al./2025/Gen3DSR은 이러한 추정기들을 기반으로 카테고리별 객체 재구성을 수행하지만, 인체 모델링을 생략하여 물리적 접촉이나 상호작용을 추론할 수 없습니다.

대조적으로, 저희 방법은 최첨단 깊이 추정 기술을 명시적인 인체 모델링과 함께 활용하여, 이전의 객체 또는 장면 중심 접근 방식의 능력을 뛰어넘어 단일 이미지로부터 물리적으로 타당하고 미터 단위로 정렬된 인간-장면 재구성을 가능하게 합니다.

단안 이미지로부터 3D 인체의 모양과 자세를 재구성하는 분야는 상당한 발전을 이루었으며, 특히 SMPL(Loper/2015/SMPL)과 이를 손과 얼굴까지 확장한 SMPL-X(Pavlakos/2019/SMPL-X)와 같은 파라메트릭 모델들이 큰 역할을 했습니다. 이 모델들은 표현력 있는 전신 추정을 가능하게 합니다.

초기 방법인 SMPLify(Bogo/2016/SMPLify)는 2D 관절 감지 결과에 맞춰 신체 파라미터를 최적화했습니다.

이후 HMR(Kanazawa/2018/HMR), SPIN(Kolotouros/2019/SPIN), PARE(Kocabas/2021/PARE)를 포함한 딥러닝 방법들은 종단 간 회귀 및 어텐션 메커니즘을 도입하여 가려짐과 잘림에 대한 강인성을 향상시켰습니다.

WHAM(Shin/2024/WHAM)과 TRAM(Wang/2024a/TRAM)은 인체 메시 복구를 SLAM 기반 카메라 추적과 결합하여, 단안 비디오로부터 월드 좌표계에서 SMPL 신체의 정확한 전역 위치 파악을 가능하게 합니다.

최근에는 NLF(Sárándi/2024/NLF)와 같은 대규모 학습 기반 모델들이 2,500만 개 이상의 주석이 달린 프레임을 활용하여 단일 이미지로부터 SMPL-X 파라미터와 전역 위치를 직접 회귀하며, 다양한 장면과 자세에 걸쳐 최첨단 수준의 일반화 성능과 정확도를 달성했습니다.

이러한 발전에도 불구하고, 기존 방법들은 종종 물리적 상호작용이나 주변 3D 장면에 대한 일관성을 명시적으로 추론하지 못하여, 인체가 공중에 떠 있거나, 잘못 정렬되거나, 물리적으로 불가능한 재구성 결과를 낳습니다.

저희 연구는 재구성된 장면과 명시적으로 일관성을 갖는, 미터 단위로 정렬된 물리적으로 타당한 인체 복구를 가능하게 함으로써 이러한 문제들을 해결합니다.

단안 3D 장면 복원을 위한 초기 방법들은 단일 RGB 이미지로부터 레이아웃, 객체 배치, 메시를 복구하기 위해 기하학적 및 의미론적 사전 지식을 활용했습니다. 이들 중 주목할 만한 것은 방 레이아웃과 객체 포즈를 함께 추론하는 Total3D (Nie/2020/Total3D)입니다. Mesh R-CNN (Gkioxari/2019/Mesh R-CNN)과 MonoScene (Cao/2022/MonoScene)은 객체 중심 메시 예측과 의미론적 장면 완성을 더욱 발전시켰습니다. ZoeDepth (Bhat/2023/ZoeDepth), Metric3D (Hu/2024/Metric3D), DepthPro (Bochkovskii/2024/DepthPro)와 같은 단안 깊이 추정의 최근 획기적인 발전은 대규모 사전 학습과 트랜스포머를 사용하여 선명하고 스케일 일관적인 깊이를 예측하며, 사실적인 미터 단위 포인트 클라우드 추출을 가능하게 합니다. Gen3DSR (Ardelean/2025/Gen3DSR)은 이러한 추정기들을 기반으로 카테고리별 객체 복원을 수행하지만, 인간 모델링을 생략하여 물리적 접촉이나 상호작용을 추론할 수 없다는 한계가 있습니다. 이와 대조적으로, 본 연구의 방법은 최신 깊이 추정 기술과 명시적인 인간 모델링을 함께 활용하여, 이전의 객체 또는 장면 중심 접근 방식의 능력을 뛰어넘어 단일 이미지로부터 물리적으로 타당하고 미터 단위로 정렬된 인간-장면 복원을 가능하게 합니다.

그럴듯한 인간-장면 상호작용을 모델링하고 재구성하는 것은 장면 이해의 핵심입니다. 초기 벤치마크들은 장면 제약 조건 하에서 상호작용 탐지(Liu et al./2020/Interaction Detection), 생성(Savva et al./2016/Interaction Generation), 그리고 자세 개선(Hassan et al./2019b/Pose Refinement)을 다루었습니다. PROX(Hassan et al./2019a/PROX)는 상호 침투 및 접촉 페널티를 도입했지만 정적인 장면 스캔에 접근할 수 있다고 가정합니다. 반면, 저희 방법은 단일 RGB 이미지로부터 미터 스케일의 장면을 재구성합니다. 여러 접근법들은 인간의 움직임으로부터 장면 구조를 추론(Li et al./2024/Scene from Motion, Nie et al./2021/Scene from Motion, Yi et al./2022/Scene from Motion)하는 반면, EgoBody(Zhang et al./2022/EgoBody)나 HPS(Guzov et al./2021/HPS)와 같은 대규모 캡처 연구들은 웨어러블 센서를 사용하여 상세한 다중 인물 및 미터 단위 포즈 데이터를 제공하지만, 특수 하드웨어가 필요하며 단일 이미지 재구성은 다루지 않습니다.

동적 추적 및 접촉 추정 접근법들, 예를 들어 CHORE(Xie et al./2022/CHORE), InterTrack(Xie et al./2025/InterTrack), 그리고 DECO(Tripathi et al./2023/DECO)는 관절이 있는 인간과 접촉을 재구성할 수 있지만, 종종 불완전한 장면 기하학에 의존합니다. ParaHome(Kim et al./2024/ParaHome)과 같은 생성 모델은 다양한 3D 인간-객체 상호작용을 시뮬레이션하지만, 이미지 기반 재구성보다는 활동 합성에 초점을 맞춥니다. 배치에 초점을 맞춘 연구들(예: POSA(Hassan et al./2021/POSA), PLACE(Zhang et al./2020/PLACE), Putting People in Scenes(Li et al./2019/Putting People in Scenes))은 통계적 사전 지식을 활용하지만, 일반적으로 밀도가 높고 미터 단위로 정확한 장면 복원이 부족합니다. 최근의 전체론적 재구성 방법들, 예를 들어 RICH(Huang et al./2022/RICH), HSR(Xue et al./2024/HSR), HolisticMesh(Weng and Yeung/2021/HolisticMesh), 그리고 Biswas et al. (2023)의 연구는 통합된 장면 이해를 향해 나아가고 있지만, 종종 통제된 환경을 요구합니다. 이와 대조적으로, 저희 방법은 단일 이미지로부터 직접 밀도 높은 접촉 추론을 통해 미터 단위로 정확하고 물리적으로 그럴듯한 인간과 다양한 장면을 재구성하여, 다중 인간 및 야외 시나리오를 가능하게 합니다 (표 1 참조).

저희 연구는 보정되지 않은 다중 시점 이미지로부터 공동 최적화를 사용하여 3D 인간-장면을 재구성하는 HSfM(Müller et al./2024/HSfM)과 가장 밀접하게 관련되어 있습니다. 저희가 알기로는, PhySIC은 단일 단안 이미지로부터 3D 인간-장면과 그 상호작용을 모두 재구성하는 최초의 방법입니다. 이는 단안의 모호성과 심각한 가려짐으로 인해 특히 어려운 작업이지만, 인터넷 이미지에 적용할 수 있다는 점에서 매우 실용적입니다. 몇 가지 추가적인 기술적 설계 선택이 PhySIC을 HSfM과 더욱 차별화합니다. 자세한 내용은 보충 자료를 참조하십시오.

인터넷 이미지에 적용할 수 있다는 점을 고려할 때, 몇 가지 추가적인 기술적 설계 선택이 PhySIC을 HSfM과 더욱 차별화합니다; 자세한 내용은 보충 자료를 참조하시기 바랍니다.

단일 RGB 이미지가 주어지면, 저희의 방법론인 PhySIC은 미터 스케일의 밀집 장면 포인트 클라우드와 정확한 정점 수준 접촉 맵을 가진 3D 인체 메시를 예측합니다.

이는 정교한 인체 포즈와 다양한 장면 기하학 구조를 심각한 인간-장면 가림 현상 하에서 정확하게 추론해야 하는 매우 복잡한 문제입니다.

저희는 이 문제를 별개의 미터 스케일 장면 추정 (섹션 3.1)과 장면에 대한 정렬을 포함한 인체 복원 (섹션 3.2)으로 분해합니다.

인간과 장면은 본질적으로 서로에 의해 제약되며, 저희는 이를 활용하여 물리적으로 타당한 인간-장면 접촉을 얻기 위한 공동 최적화 (섹션 3.3)를 수행합니다.

저희 방법론의 개요는 그림 2에서 찾아볼 수 있습니다.

표기의 단순화를 위해, 단일 인간과 장면의 상호작용에 대해 방법론을 설명하지만, 저희의 접근 방식은 여러 명의 인간도 원활하게 처리합니다.

구체적으로, 입력 이미지 $I \in \mathbb{R}^{H \times W \times 3}$가 주어지면, PhySIC은 SMPL-X 바디 모델 Pavlakos/2019/SMPL-X을 사용하여 장면 포인트 맵 $P_s$와 인체 메시 정점 $V_h \in \mathbb{R}^{N \times 3}$를 출력합니다.

그리고 Pavlakos/2019/SMPL-X의 SMPL-X 바디 모델을 사용하여 인간 메시 정점 $V_h \in \mathbb{R}^{N \times 3}$을 출력합니다.

단안 이미지에서는 사람이 배경 장면을 심하게 가릴 수 있으며, 이는 장면을 재구성할 때 단순히 사람을 무시하면 누락된 영역이 발생하여 잘못된 네거티브 상호작용을 유발할 수 있습니다.

대신, 저희는 먼저 장면을 인페인팅하여 누락된 영역을 채운 다음, Fig. 2에서 보여주듯이 전체 장면에 대해 장면 재구성을 실행합니다.

구체적으로, 저희는 Ravi/2024/SAM2의 SAM2를 사용하여 인간 마스크를 얻고 Wei/2025/OmniEraser의 OmniEraser를 채택하여 인간 영역을 인페인팅함으로써, 장면의 가려지지 않은 뷰를 가진 이미지 $I_s$를 생성합니다.

저희의 목표는 이미지로부터 정확한 미터 스케일의 장면 포인트를 얻는 것입니다.

Bochkovskii/2024/DepthPro의 DepthPro와 같은 기존 깊이 추정기는 정확한 미터 스케일 깊이를 예측할 수 있지만, 상세한 기하학적 정보가 부족합니다.

반면에, Wang/2024b/MoGe의 MoGe와 같은 일부 모델은 세밀한 디테일을 포착할 수 있지만, 그 결과는 상대적인 공간에 존재합니다.

저희는 두 세계의 장점을 모두 활용하여 정확하고 상세한 기하학적 구조를 가진 미터 장면 스케일을 얻습니다.

구체적으로, 인페인팅된 장면 이미지 $I_s$를 사용하여, 먼저 DepthPro로부터 미터 깊이 맵 $D_s$를 얻고 MoGe로부터 스케일이 조정되지 않은 상대적 포인트 맵 $P_{rel_s}$를 얻습니다.

MoGe 예측은 픽셀에 정렬되어 있으므로, 스케일 $s$와 이동 $t_z$를 최적화하여 포인트 맵 $P_{rel_s}$를 미터 깊이 $D_s$에 정렬할 수 있습니다:

여기서 $\pi^{-1}$는 역투영 함수이고 내부 파라미터 $K_D$는 DepthPro에 의해 예측됩니다.

저희는 $t_z$에서 깊이 이동만을 최적화하고 이를 RANSAC을 사용하여 해결합니다.

그러면 미터 스케일 포인트 맵 $\hat{P}_s$는 다음과 같이 얻을 수 있습니다: $\hat{P}_s = s^ \cdot \hat{P}_{rel_s} + t_z^$.

포인트 맵 $\hat{P}_s$는 정확한 지역적 기하학 구조를 포착하지만, 누락되거나 신뢰할 수 없는 바닥 기하학 구조로 인해 어려움을 겪을 수 있으며, 이는 정확한 인간-장면 상호작용에 중요합니다.

이를 위해, 저희는 법선 제약 조건을 사용하여 바닥 포인트에 평면을 피팅합니다.

구체적으로, 저희는 SAM2를 채택하여 바닥의 2D 마스크를 얻고, 이를 사용하여 $\hat{P}_s$에서 3D 바닥 포인트를 분할합니다.

그런 다음 RANSAC을 사용하여 바닥 포인트에 평면을 강건하게 피팅하여 법선과 위치를 모두 정렬합니다.

저희는 2D 픽셀 그리드에 정의된 두 개의 바로 인접한 이웃 포인트를 사용하여 각 포인트의 법선을 추정합니다.

저희는 장면의 범위 내에서 평면 위의 2D 그리드 포인트를 샘플링하여 추가적인 바닥 포인트 $P_f$를 얻습니다.

다음 단계를 위한 초기화로서의 최종 3D 장면은 정제된 장면 포인트 클라우드 $\hat{P}_s$와 합성된 바닥 평면 포인트 $P_f$의 합집합으로 형성됩니다:

최종 장면 포인트 $P_s$는 주로 MoGe에서 나오지만, 식 (1)에서 사용된 초기 카메라는 DepthPro에서 나온다는 점에 유의해야 합니다.

더 나은 정렬을 보장하기 위해, 저희는 $P'_s$에 대한 카메라 내부 파라미터를 다시 계산합니다.

$(u, v)$를 2D 픽셀이라 하고 $(X, Y, Z)$를 $\hat{P}'_s$로부터의 해당 3D 포인트라고 할 때, 저희는 Patel/2024/CameraHMR의 연구처럼 중심 주점(centered principal point)을 가정하고 잠재적인 초점 거리를 도출합니다: $f_x(u, v) = \frac{(u - W/2)Z}{X}$ 그리고 $f_y(u, v) = \frac{(v - H/2)Z}{Y}$.

최종 초점 거리 $f_x$와 $f_y$는 각각의 값들의 중앙값으로 강건하게 설정됩니다.

이 새로운 내부 파라미터 행렬 $K$는 모든 후속 카메라 투영에 사용됩니다.

초점 거리 $f_x$와 $f_y$는 각 값들의 중앙값으로 강건하게 설정됩니다. 이 새로운 내부 파라미터 행렬 $K$는 이후의 모든 카메라 투영에 사용됩니다.

이전 섹션에서는 사람을 마스킹하여 제외하고 장면만 고려했습니다. 이제 우리는 사람을 재구성하고 이를 예측된 장면 포인트 클라우드 $P'_s$에 정렬합니다. 이 과정은 두 단계로 구성됩니다: 1) 장면 포인트와 정렬된 사람 포인트 $P_h$를 얻고, 2) 사람 포인트 $P_h$, 즉 기저의 장면 $P'_s$와 정렬된 사람 메시를 추정합니다.

원본 입력 이미지 $I$로부터, 우리는 MoGe를 사용하여 스케일이 없는 포인트 클라우드 $\hat{P}_{h+s}$를 예측합니다. 이는 사람 포인트 $\hat{P}_h$와 주변 장면 포인트 $\hat{P}_s$를 포함합니다. 그 다음, 수식 (1)과 유사하게 스케일과 깊이 이동을 최적화하여 이를 미터 스케일 장면 포인트 $P'_s$에 정렬합니다. 정렬을 수행할 때 사람 마스크를 사용하여 $\hat{P}_{h+s}$에서 $\hat{P}_h$를 제거한다는 점에 유의해야 합니다. 그런 다음 최적화된 스케일과 이동을 사람 포인트 $\hat{P}_h$에 적용하여, 이를 미터 스케일 장면에 정렬하고 $P_h$로 표기합니다.

의미론적으로 의미 있는 접촉 정점을 얻기 위해, 우리는 사람을 표현하는 데 SMPL-X Pavlakos/2019/SMPL-X를 사용합니다. 우리는 SMPL-X 모델을 $H$로 표기하며, 이는 신체 형태 $\beta$, 손과 전신 포즈 $\theta_h$, $\theta_b$, 그리고 전역 이동 $\mathbf{t}_h$를 입력으로 받아 사람 정점 $V_h = H(\beta, \theta_h, \theta_b, \mathbf{t}_h)$를 출력합니다. 초기 SMPL-X 정점 $V_h$는 CameraHMR Patel/2024/CameraHMR의 SMPL Loper/2015/SMPL 예측과 WiLor Potamias/2025/WiLor의 손 포즈를 융합하여 얻습니다. 구체적으로, 우리는 SMPLFitter Sárándi/2024/SMPLFitter를 사용하여 CameraHMR이 예측한 SMPL 메시에 SMPL-X를 맞추고, 손 파라미터를 WiLor가 예측한 손 포즈로 대체합니다. 이 초기 추정치는 입력 이미지 및 미터 스케일 장면과 정확하게 정렬되지 않으며, 이는 다음 단계에서 해결합니다.

먼저 2D 관절 투영 손실을 사용하여 추정된 SMPL-X 정점의 픽셀 정렬을 개선하기 위해 전역 사람 이동 $\mathbf{t}_h$를 최적화합니다:

여기서 $J: \mathbb{R}^{N \times 3} \mapsto \mathbb{R}^{J \times 3}$는 3D 신체 키포인트를 회귀하고, $\hat{J}^{2D}_h$는 ViTPose Xu/2022/ViTPose에 의해 예측된 2D 키포인트입니다. 그 다음, 카메라를 향하는 정점 $V_{cf}$와 사람 포인트 $P_h$ 사이의 Chamfer 거리를 사용하여 최적화된 사람 정점을 미터 스케일 사람 포인트 $P_h$에 정렬합니다:

우리는 카메라를 향하는 정점 $V_{cf} \subset V_h$를 표면 법선이 카메라 시선 방향으로부터 70도 미만으로 벗어나는 각도를 가진 정점들로 선택합니다. 이는 등 쪽의 정점들이 사람 포인트에 정렬되는 것을 방지하는 데 매우 중요합니다. 여기서는 전역 이동 파라미터 $\mathbf{t}_h$만을 최적화한다는 점에 유의해야 합니다.

카메라 시선 방향입니다. 이는 뒷면 정점들이 인간 포인트들과 정렬되는 것을 방지하는 데 중요합니다. 여기서 우리는 전역 이동 변환 $t_h$ 파라미터만 최적화한다는 점에 유의해야 합니다.

이전 단계들에서 얻은 인간 정점 $V_h$와 미터 스케일 장면 포인트 $P'_s$가 동일한 미터 스케일 좌표계에 존재하더라도, 이들은 개별적으로 예측되었습니다. 따라서 물리적 타당성이 보장되지 않습니다. 우리는 인간과 장면 사이에 추가적인 제약 조건을 강제하여 타당성을 더욱 향상시킵니다 (Fig. 2, 3단계). 이를 위해, 우리는 Hassan/2019/PROX, Yi/2022/Inferring Scene Structure의 접촉 인력 및 상호 관통 방지 원칙을 포인트맵을 사용한 단일 이미지 재구성 설정에 맞게 조정한 공동 최적화 목적 함수를 공식화합니다. 따라서, 우리는 인간 파라미터 $θ_b, θ_h, β, t_h$와 장면 스케일 파라미터 $s_{sc}$를 공동으로 최적화하기 위해 접촉 및 상호 관통 손실을 정규화 항과 함께 추가로 도입합니다:

$P_s = s_{sc}P'_s$를 스케일링된 장면 포인트라고 할 때, 다음으로 접촉, 상호 관통, 그리고 정규화 항에 대해 설명하겠습니다. 손실 가중치 $λ^*$는 보충 자료에 자세히 설명되어 있습니다.

이 손실은 장면에 접촉하는 인간 정점들이 장면 포인트 $P_s$에 가깝도록 유도합니다. 우리는 Tripathi/2023/DECO를 사용하여 인간 접촉 정점 $V_{con}$을 예측하고, 이 정점들과 가장 가까운 장면 포인트까지의 거리를 최소화합니다. 최적화 과정 동안, 우리는 매 반복마다 가장 가까운 장면 거리를 재평가하여 활성 접촉 부분집합을 사용하고, $ε$ 내에 있는 정점들에만 $L_c$를 적용하여 가짜 장거리 접촉을 억제합니다:

여기서 $ρ$는 Barron/2019/A General and Adaptive Robust Loss Function의 적응형 강건한 손실 함수이고, 지시 함수 $I(·)$는 가장 가까운 장면 포인트까지의 거리가 임계값 $ε$보다 작을 때만 손실 항이 활성화되도록 보장합니다. 이는 멀리 떨어진 거짓 양성 접촉 예측이나 이상치 장면 포인트와의 상호작용에 패널티를 부과하는 것을 방지합니다.

이 손실은 인간 메시 $V_h$가 장면 지오메트리 $P_s$를 부자연스럽게 관통하는 것을 방지합니다. 우리는 $P_s$의 추정된 점별 법선을 활용하고 법선 방향과 반대로 놓인 점들에 패널티를 부과합니다:

중요하게도, 우리는 주변 물체나 자신에 의해 가려진 인간 정점 $V_{occ}$를 제외합니다. 구체적으로, 우리는 2D 투영이 인간 마스크 외부에 있는 인간 정점을 물체에 의해 가려진 것으로 간주합니다. 우리는 정점을 다른 신체 부위로 나누고, 한 부위의 정점 중 30%가 다른 신체 부위에 의해 가려지면 그 부위를 자가 가림 상태로 간주합니다. 이는 가려진 신체 부위가 관통 손실 때문에 부자연스러운 자세로 움직이는 것을 방지하는데, 왜냐하면 최적화를 정규화할 2D 키포인트와 같은 다른 신호가 없기 때문입니다.

최적화된 인간 메시 $V_h$가 초기 추정치에서 과도하게 벗어나지 않도록 하기 위해, 우리는 초기 추정치를 자세 사전 확률로 취급하여 메시 정규화 손실을 적용합니다. 이 손실은 현재 메시 정점과 초기 메시 정점 사이의 루트 기준 공간에서의 L2 거리에 패널티를 부과하여, 인간의 지역적 신체 자세를 제약하는 동시에 메시의 전역 이동에 대해서는 큰 업데이트를 허용합니다. 우리는 가려진 정점 $V_{occ}$에 대한 정규화 손실의 가중치를 높이는데, 이는 초기 추정치가 관찰되지 않은 인간 메시 부분에 대한 최선의 추측이기 때문입니다. 우리는 또한 장면 스케일 $s_{sc}$와 인간 이동 변환 $t_h$가 초기값에서 크게 벗어나는 것을 방지함으로써 약하게 정규화합니다.

우리의 공동 최적화는 정확하고 물리적으로 타당한 인간-장면 상호작용을 생성하며, 이를 통해 근접성에 기반한 정점별 접촉 맵을 추출할 수 있습니다. 각 인간 메시 정점 $v_j \in V_h$는 장면 표면의 가장 가까운 점까지의 유클리드 거리가 미리 정의된 임계값 $ε_c$보다 작으면 접촉 상태로 레이블링됩니다. 이 과정은 인간 메시 정점에 대한 이진 접촉 마스크를 생성하여 상호작용 영역을 식별합니다.

위에서 설명한 방법은 다른 인간 마스크를 사용하여 인간-장면 정렬 및 공동 최적화를 수행함으로써 다중 인간으로 쉽게 확장될 수 있습니다. 구체적으로, 우리는 SAM2를 사용하여 인스턴스별 인간 마스크를 얻습니다. 모든 인간을 동시에 인페인팅하여 장면을 얻은 다음, 3.2절에 따라 각 인간 메시를 개별적으로 장면에 정렬합니다. 그런 다음 Eq. (6)을 사용하여 기본 장면과 모든 인간 간에 한 번의 공동 최적화를 수행합니다.

장면을 얻기 위해 모든 사람을 동시에 인페인팅한 다음, 섹션 3.2에 따라 각 사람 메시를 장면에 개별적으로 정렬합니다.

그런 다음 식 (6)을 사용하여 기본 장면과 모든 사람 간에 하나의 공동 최적화를 수행합니다.

저희는 Paszke/2019/PyTorch를 사용하여 최적화 프레임워크를 구현하고, Ravi/2020/PyTorch3D의 배치 처리된 3D 기하학 연산을 통해 여러 사람을 처리합니다.

초기화 단계에서는 깨끗한 장면 기하학을 보장하기 위해 평균 $k$-NN 거리를 사용하여 공격적인 이상치 포인트 제거를 수행하며, 여기서 $k$는 이미지 해상도에 따라 적응적으로 설정됩니다.

첫 번째 최적화(식 3)에서는 Kingma/2017/Adam을 사용하여 30회의 경사 하강법을 수행합니다.

두 번째 최적화(식 5)에서는 Liu/1989/L-BFGS의 두 번의 반복을 사용합니다.

저희의 최종 최적화(식 6)는 Adam을 사용한 100회의 경사 하강법을 활용합니다.

두 경사 하강법 모두 $1e-2$의 학습률을 사용하며, L-BFGS 옵티마이저는 단위 학습률을 사용합니다.

카메라를 향하는 마스크 $V_{cf}$는 최적화 과정 내내 안정적으로 유지되지만, 자기 가림 상태는 포즈 최적화로 인해 변할 수 있습니다.

따라서, 저희는 최종 경사 하강법의 매 30회 반복마다 $V_{occ}$를 업데이트합니다.

더 자세한 내용은 보충 자료를 참조하십시오.

$L_c$와 $L_i$에서 자주 사용되는 연산은 최근접 이웃 탐색입니다.

최적화 중 장면 스케일이 변함에도 불구하고, 저희는 최근접 이웃 구조의 스케일 불변 특성을 활용하여 가장 가까운 장면 포인트의 $128^3$ 그리드를 미리 계산하고, 쿼리 포인트를 초기 스케일로 변환합니다.

이는 무차별 대입 방식의 구현에 비해 전체적으로 15-20배의 속도 향상을 가져옵니다.

NVIDIA H100 GPU에서 저희의 최적화는 480p 이미지에 9초, 720p 이미지에 12초가 걸리며, 종단 간 인간-장면 재구성 시간은 각각 27초와 36초입니다.

모든 사람을 동시에 인페인팅하여 장면을 얻은 다음, 섹션 3.2에 따라 각 사람의 메시를 개별적으로 장면에 정렬합니다.

그런 다음 수식 (6)을 사용하여 기본 장면과 모든 사람 간의 단일 공동 최적화를 수행합니다.

우리는 최적화 프레임워크를 PyTorch (Paszke/2019/PyTorch)를 사용하여 구현하고, PyTorch3D (Ravi/2020/PyTorch3D)를 사용하여 다수의 사람을 처리하기 위한 배치 3D 기하학 연산을 사용합니다.

초기화 단계에서는 깨끗한 장면 기하학을 보장하기 위해 평균 $k$-NN 거리를 사용하여 공격적인 이상치 포인트 제거를 수행하며, 여기서 $k$는 이미지 해상도에 따라 적응적으로 설정됩니다.

첫 번째 최적화(수식 3)에서는 Adam (Kingma/2017/Adam)을 사용하여 30회의 경사 하강법을 수행합니다.

두 번째 최적화(수식 5)에서는 L-BFGS (Liu/1989/L-BFGS)를 사용하여 2회의 반복을 수행합니다.

우리의 최종 최적화(수식 6)는 Adam을 사용한 100회의 경사 하강법을 활용합니다.

두 경사 하강법 모두 $1e-2$의 학습률을 사용하며, L-BFGS 옵티마이저는 단위 학습률을 사용합니다.

카메라를 향하는 마스크 $V_{cf}$는 최적화 과정 내내 안정적으로 유지되지만, 자기 가림 상태는 포즈 최적화로 인해 변할 수 있습니다.

따라서, 최종 경사 하강법의 매 30회 반복마다 $V_{occ}$를 업데이트합니다.

더 자세한 내용은 보충 자료를 참조하십시오.

$L_c$와 $L_i$에서 자주 사용되는 연산은 최근접 이웃 탐색입니다.

최적화 중 장면 스케일이 변함에도 불구하고, 우리는 최근접 이웃 구조의 스케일 불변 특성을 활용하여 가장 가까운 장면 포인트들의 $128^3$ 그리드를 미리 계산하고, 쿼리 포인트를 초기 스케일로 변환합니다.

이는 무차별 대입 방식의 구현에 비해 전체적으로 15–20배의 속도 향상을 가져옵니다.

NVIDIA H100 GPU에서 우리의 최적화는 480p 이미지에 대해 9초, 720p 이미지에 대해 12초가 소요되며, 이는 종단 간 인간-장면 재구성 시간으로 각각 27초와 36초를 의미합니다.

저희는 PhySIC을 기존 연구들과 비교하여 평가하기 위해, 인간과 정적 장면 스캔을 모두 포함하는 PROX (Hassan/2019/PROX) 및 RICH (Huang/2022/RICH) 데이터셋을 사용합니다.

PROX 데이터셋은 실내 환경에서 한 명의 피실험자가 다양한 장면의 객체들과 상호작용하는 것을 포착합니다.

반면, RICH는 실내 및 실외 환경을 모두 다루는 두 장면의 비디오를 포함하며, 각 장면은 6-8대의 카메라로 촬영되어 약 125,000 프레임에 달하는 높은 중복성을 가집니다. 이로 인해 전체 평가는 비용이 많이 듭니다.

따라서 저희는 PROX-quantitative의 모든 178개 이미지와, 가능한 모든 카메라, 활동, 배경을 포함하도록 RICH에서 무작위로 샘플링한 100개의 이미지를 사용합니다.

또한, 실내 환경에서 정적인 장면과 상호작용하는 인간의 비디오를 포함하는 PiGraphs 데이터셋 (Savva/2016/PiGraphs)에 대한 정성적 결과를 제공합니다.

마지막으로, 저희 접근법의 일반화 가능성을 보여주기 위해 인터넷에서 수집한 다양한 실사 이미지를 사용합니다.

저희는 PhySIC을 단안 이미지로부터 인간-장면 상호작용을 공동으로 모델링하는 두 가지 최신 접근법인 PROX (Hassan/2019/PROX)와 HolisticMesh (Weng/2021/HolisticMesh)와 비교합니다.

HolisticMesh는 단일 RGB 이미지로부터 인간-장면을 추정하는 반면, PROX는 최적화를 위해 정적인 3D 장면 스캔이 필요합니다.

공정한 비교를 가능하게 하고 RGB 이미지에 대해 PROX를 평가하기 위해, 저희는 두 가지 수정을 수행했습니다.

첫째, 정적 장면을 DepthPro (Bochkovskii/2024/DepthPro)에서 얻은 역투영된 깊이 맵으로 대체했습니다.

더 나아가, PROX의 포즈 사전 정보인 VPoser (Pavlakos/2019/SMPL-X)를 최신 기술인 CameraHMR로 교체했습니다.

구체적으로, 저희는 CameraHMR (Patel/2024/CameraHMR)을 사용하여 포즈 최적화를 초기화하고 정규화했습니다.

전체 PROX-Quantitative 시퀀스에 대해 단일 정적 장면을 맞추는 HolisticMesh와 달리, 저희 방법은 얇은 구조물과의 상호작용이 없는 프레임에서 얻은 단일 인페인팅된 이미지에만 의존합니다.

이는 프레임별 인페인팅의 필요성을 피하게 하고, 각 프레임에서 시퀀스 수준의 단서에 의존하지 않고 인간과 장면을 독립적으로 최적화할 수 있게 합니다.

이러한 경량 설계에도 불구하고, 저희의 인페인팅은 강건하게 일반화되며, 시퀀스 정보가 전혀 없어도 실사 이미지에서 직접적으로 잘 작동합니다.

설계 덕분에, 저희의 인페인팅은 강건하게 일반화되며 순차 정보가 없어도 야생의 이미지에서 직접 잘 작동합니다.

Fig. 3은 인간-장면 재구성의 정성적 결과를 보여줍니다.

저희 방법과 대조적으로, PROX는 강건한 가림 처리가 부족하고 접촉 손실 함수에 적절한 거리 임계값이 없어, 부정확한 포즈와 장면 내 잘못된 위치 파악으로 이어집니다.

모델링되지 않은 장면 변형으로 인해 일부 상호 관통은 예상되지만, PROX는 이러한 예상된 불일치를 넘어서는 과도한 상호 관통을 보입니다.

유사하게, HolisticMesh 또한 눈에 띄는 상호 관통을 겪으며, 특정 야생 환경 예제에서는 실행에 실패하여 일반화 가능성의 한계를 드러냅니다.

반면, PhySIC의 강건한 가림 처리와 접촉에 대한 정제된 거리 임계값 설정은 더 정확한 포즈, 더 나은 위치 파악, 그리고 상당히 감소된 상호 관통으로 이어져, 복잡한 장면에서의 강건성을 성공적으로 높입니다.

추가적인 결과는 Fig. 7과 보충 자료를 참조하십시오.

Fig. 4에서는 접촉 추정 방법인 DECO (Tripathi/2023/DECO)와의 비교 예시를 보여줍니다.

저희의 공동 최적화는 노이즈가 있을 수 있는 DECO의 접촉 추정치에 의해 유도됩니다.

하지만, 저희 접근 방식은 정확한 인간-장면 상호작용을 강건하게 복원하고, 특히 발이나 팔과 같은 복잡한 신체 부위에서 접촉을 더욱 개선합니다.

추가 예시는 Fig. 6에서 찾아볼 수 있습니다.

저희는 3D 인간 포즈와 정점 수준의 접촉 지표 모두에 대해 저희 방법을 정량적으로 평가합니다.

Fig. 4에서 볼 수 있습니다. 저희의 공동 최적화는 노이즈가 있을 수 있는 DECO의 접촉 추정에 의해 유도됩니다. 하지만 저희의 접근 방식은 정확한 인간-장면 상호작용을 강건하게 복구하고, 특히 발과 팔과 같은 복잡한 신체 부위에서 접촉을 더욱 개선합니다. 추가 예시는 Fig. 6에서 찾을 수 있습니다.

저희는 3D 인체 포즈와 정점 수준 접촉 지표 모두에 대해 제안 방법을 정량적으로 평가합니다. 3D 인체 포즈에 대해서는, 카메라 기준 예측 관절과 GT(Ground Truth) 인체 관절 사이의 평균 유클리드 거리인 평균 관절 위치 오차(MPJPE)를 보고합니다. 또한 전역 정렬 후 MPJPE를 계산하여 루트 기준 인체 포즈를 효과적으로 비교하는 프로크루스테스 정렬 MPJPE(PA-MPJPE)를 사용합니다. 추가적으로, 예측된 인체 형상 $β$를 고려하는, 예측 메시 정점과 GT 메시 정점 사이의 평균 유클리드 거리인 평균 정점 위치 오차(MPVPE)를 보고합니다. 인간-장면 접촉에 대해서는, 예측된 정점별 접촉과 GT 정점별 접촉을 사용하여 계산된 표준 분류 지표(정밀도, 재현율, F1 점수)를 보고합니다.

표 2의 결과는 저희의 접근 방식이 인체 포즈와 접촉 추정 모두에서 최첨단 성능을 달성함을 보여줍니다. 특히 PROX 데이터셋에서, PROX와 HolisticMesh 모두 CameraHMR로부터 초기화되었음에도 불구하고, 이들과 비교하여 PA-MPJPE를 거의 절반으로 크게 줄였습니다. 저희 방법은 모든 포즈 및 접촉 지표에서 최첨단 기술인 CameraHMR와 DECO를 지속적으로 개선합니다. 저희 방법은 또한 접촉 정확도에서 HolisticMesh를 능가하며 F1 점수에서 40%의 향상을 보였습니다. 비록 HolisticMesh가 PROX에서 약간 더 나은 MPJPE와 MPVPE를 보이지만, PROX가 아닌 실제 환경 이미지(Fig. 7)에서는 성능이 저조하며, PA-MPJPE가 나타내듯이 심각한 상호 관통과 부정확한 지역 포즈 문제를 겪습니다.

RICH 데이터셋에서는 HolisticMesh를 평가할 수 없었는데, 이는 HolisticMesh가 제한된 객체 카테고리가 있는 실내 생활 환경에 대해서만 훈련된 반면, RICH는 HolisticMesh의 카테고리를 벗어나는 실내와 실외 모두에서 촬영되었기 때문입니다. 저희 방법은 포즈와 접촉 지표 모두에서 PROX를 능가합니다.

저희는 공동 최적화 단계에서 여러 손실 항들이 미치는 영향을 조사하고 그 결과를 PROX 데이터셋에 대해 보고합니다. 기본적인 2D 관절 재투영 손실 $L_{j2d}$와 정규화 항에서 시작하여, 식 (6)에 정의된 손실들을 최적화 과정에 점진적으로 추가합니다. 저희의 초기화 접근 방식인 CameraHMR와 DECO의 성능과 절제 연구 결과를 표 3에 보고합니다. $L_{reg} + L_{j2d}$만 사용했을 때, 인체 포즈 지표는 초기 추정치에 비해 저하됩니다. 이는 단안 환경의 깊이 모호성 때문입니다. 즉, 완벽한 2D 정합이 정확한 3D 포즈를 의미하지는 않습니다. 이로 인해 인간-장면 상호작용 손실($L_c$와 $L_i$)로부터의 추가적인 제약 조건이 필요합니다. 하지만 이 손실들은 가장 가까운 장면 점들에 대해 적용되기 때문에, 실제 접촉 영역과 어긋날 수 있습니다. 이를 해결하기 위해, 저희는 인간 점들 $P_h$에 대한 손실도 포함합니다. 깊이 정렬 손실(+$L_d$)은 장면 내 인간의 위치 추정을 개선하여 $L_c$와 $L_i$가 올바른 장면 영역에 작용하도록 보장함으로써, 포즈와 접촉 모두에서 결정적인 향상을 가져옵니다. 저희의 가림 인지 상호 관통 손실($L_i$에서 $V_{occ}$ 제외)은 더 나아가 가장 큰 PA-MPJPE 이득(41.91로)을 제공하고 최고의 접촉 재현율과 F1 점수를 달성합니다. 가림 인지 없이는, 지역 신체 포즈(PA-MPJPE)가 초기화보다 훨씬 더 나빠진다는 점에 유의해야 합니다. 이는 가려진 부분이 입력 이미지로부터의 정규화 없이 상호 관통으로 인해 과도하게 페널티를 받아, 올바른 신체 포즈에서 크게 벗어나기 때문입니다. 저희의 실험은 가림 추론의 중요성을 강조하며, 이는 Xie/2023/CHORE-like, Xie/2025/InterTrack과 같은 이전 연구들과 일치합니다.

우리는 우리의 공동 최적화 단계에 대한 여러 손실 항들의 영향을 조사하고 PROX 데이터셋에 대한 결과를 보고합니다.

기본적인 2D 관절 재투영 손실 $L_{j2d}$와 정규화 항에서 시작하여, 우리는 식 (6)에 정의된 더 많은 손실들을 최적화 과정에 점진적으로 추가합니다.

우리는 우리의 초기화 접근법인 CameraHMR과 DECO의 성능, 그리고 절제 연구 결과를 표 3에 보고합니다.

단지 $L_{reg}+L_{j2d}$만 사용했을 때, 인간 포즈 지표는 초기 추정치에 비해 저하됩니다.

이는 단안 환경에서의 깊이 모호성 때문입니다. 즉, 완벽한 2D 정합이 정확한 3D 포즈를 의미하지는 않습니다.

이는 인간-장면 상호작용 손실($L_c$와 $L_i$)로부터의 추가적인 제약 조건을 필요로 합니다.

하지만, 이 손실들은 가장 가까운 장면 포인트에 대해 적용되기 때문에 실제 접촉 영역과 어긋날 수 있습니다.

이를 해결하기 위해, 우리는 인간 포인트 $P_h$에 대한 손실도 포함합니다.

깊이 정렬 손실(+$L_d$)은 장면 내 인간의 위치 추정을 개선하기 때문에 포즈와 접촉 모두에서 결정적인 향상을 보입니다. 이는 $L_c$와 $L_i$가 올바른 장면 영역에 작용하여 효과적이 되도록 보장합니다.

우리의 가림 인지 상호관통 손실($V_{occ}$가 제외된 $L_i$)은 더 나아가 PA-MPJPE에서 가장 큰 이득(41.91로)을 제공하고 최고의 접촉 재현율과 F1 점수를 달성합니다.

가림 인지 기능이 없으면 지역 신체 포즈(PA-MPJPE)가 초기화 상태보다 오히려 더 나빠진다는 점에 유의해야 합니다.

이는 가려진 부분이 입력 이미지로부터의 정규화 없이 상호관통으로 인해 과도하게 페널티를 받을 수 있어, 올바른 신체 포즈에서 크게 벗어나게 되기 때문입니다.

우리의 실험은 Xie et al./2023/CHORE, Xie et al./2025/InterTrack의 이전 연구들과 일관되게 가림 추론의 중요성을 강조합니다.

자세한 정성적 결과는 보충 자료를 참조하십시오.

PhySIC은 단일 이미지로부터 물리적으로 타당한 인간-장면 재구성에 있어 최신 기술 수준을 발전시켰지만, 몇 가지 한계점이 남아 있으며 이는 향후 연구 방향을 제시합니다.

(i) 이미지 인페인팅. 저희의 접근 방식은 가려진 장면 영역을 재구성하기 위해 Wei/2025/OmniEraser와 같은 최신 인페인팅 모델에 의존합니다.

이러한 모델들은 특히 얇거나 복잡한 구조에 대해 불완전하여, 기하학적 구조가 지워지거나 변형되는 결과를 초래합니다.

인페인팅 방법이 개선됨에 따라, 저희의 접근 방식에도 직접적인 이점이 있을 것으로 기대합니다.

(ii) 장면 변형. 저희는 정적이고 강체인 장면 기하학을 가정하는데, 이는 쿠션이나 의류와 같은 변형 가능한 물체에는 적용되지 않을 수 있습니다.

PhySIC을 확장하여 비강체 장면 변형을 처리하도록 하면 더 현실적인 인간-장면 상호작용을 가능하게 할 수 있습니다.

(iii) 인간-객체 상호작용. 저희는 인간-장면 상호작용에 초점을 맞추고 있으며, 잡거나 미는 것과 같은 작은 객체와의 세밀한 상호작용을 명시적으로 모델링하지 않습니다.

향후 연구에서는 기성 객체 메시 추정기를 통합하고, 이를 재구성된 깊이 맵과 정렬하며, 추가적인 2D 객체 감독을 활용할 수 있습니다.

(iv) 평평한 바닥 가정. PhySIC은 가려짐 추론과 접촉 추정을 단순화하기 위해 바닥이 평면이라고 가정합니다.

이 가정은 일반적으로 유효하지만, 바닥 지점이 감지되지 않거나 RANSAC이 합의점을 찾지 못하는 경우에는 실패할 수 있습니다.

그러한 경우, 저희는 바닥 샘플링을 건너뛰며, 이는 위음성 접촉(false-negative contacts)을 초래할 수 있습니다.

총체적인 3D 장면 재구성 방법의 발전이 이 한계를 해결할 수 있을 것입니다 Roh/2024/Holistic 3D Scene Reconstruction.

PhySIC은 가려짐 추론과 접촉 추정을 단순화하기 위해 바닥이 평면이라고 가정합니다. 이 가정은 일반적으로 유효하지만, 바닥 지점이 감지되지 않거나 RANSAC이 합의점을 찾지 못하면 실패할 수 있습니다. 이러한 경우, 바닥 샘플링을 건너뛰게 되어 위음성(false-negative) 접촉이 발생할 수 있습니다. 전체적인 3D 장면 재구성 방법의 발전이 이 한계를 해결할 수 있을 것입니다 Roh/2024/Maturity of holistic 3D scene reconstruction.

우리는 단안 RGB 이미지로부터 물리적으로 타당한 인간-장면 상호작용 및 접촉을 재구성하는 프레임워크인 PhySIC을 제시합니다. 미터 스케일의 SMPL-X 인간 메시와 상세한 3D 장면 기하학을 공동으로 최적화함으로써, PhySIC은 다양한 환경에서 일관성 있고 물리적으로 현실적인 인간-장면 쌍의 재구성을 가능하게 합니다. 우리 방법은 미터 단위 깊이와 상세한 상대적 기하학을 결합하는 견고한 초기화 전략, 가려짐을 인지하는 정교화, 그리고 접촉, 상호 관통, 깊이 정렬을 강제하는 효율적인 다중 항 최적화를 도입합니다. 까다로운 벤치마크에 대한 광범위한 실험은 PhySIC이 포즈 및 접촉 지표 모두에서 이전 연구들을 상당히 능가하며, 다중 인간 및 실제 환경 시나리오에도 잘 일반화됨을 보여줍니다. PhySIC은 전체론적, 단일 이미지 기반 3D 인간 중심 장면 이해를 향한 확장 가능하고 접근성 있는 단계를 제공합니다. 우리는 인페인팅, 기초 기하학 모델, 상호작용 추론의 지속적인 발전이 우리 접근법의 능력과 일반성을 더욱 향상시킬 것으로 기대합니다. 우리는 향후 연구와 실제 적용을 지원하기 위해 코드와 평가 스크립트를 공개할 것입니다.

이 논문을 개선하는 데 도움을 주신 익명의 검토자분들께 감사드립니다. 이 연구는 칼 자이스 재단의 자금 지원으로 가능했습니다. 이 연구는 또한 독일 연구 재단(DFG) - 409792180 (에미 뇌터 프로그램, 프로젝트: Real Virtual Humans)과 독일 연방 교육 연구부(BMBF): 튀빙겐 AI 센터, FKZ: 01IS18039A의 지원을 받았습니다. 저자들은 YX를 지원해준 지능 시스템을 위한 국제 막스 플랑크 연구 학교(IMPRS-IS)에 감사합니다. PYM은 연방 교육 연구부가 후원하는 DAAD 프로그램 '인공지능의 콘라트 추제 우수 학교'를 통해 학습 및 지능 시스템의 콘라트 추제 우수 학교(ELIZA)의 지원을 받습니다. GPM은 우수 클러스터 '머신러닝'의 회원입니다(EXC 번호 2064/1 – 프로젝트 번호 390727645). PYM과 YX는 공동 제1저자로서 동등하게 기여했습니다. YX는 교신 저자입니다. 동등한 기여를 한 저자들은 알파벳 순서로 나열되었으며, 이력서와 웹사이트에서 자유롭게 순서를 변경할 수 있습니다. YX는 핵심 아이디어를 초기화하고, 프로젝트를 조직했으며, 현재 방법을 공동 개발하고, 실험을 공동 감독했으며, 초안을 작성했습니다. PYM은 핵심 아이디어를 공동으로 초기화하고, 현재 방법을 공동 개발했으며, 대부분의 프로토타입을 구현하고, 실험을 수행했으며, 초안을 공동 작성했습니다. XX는 초안 작성과 그림 2 개선에 기여했습니다. MK는 그림 1, 5에 제시된 결과의 시각화와 렌더링을 주도했습니다.

Fig 1: 복잡한 환경 속 인간을 포함하는 단일 단안 RGB 이미지가 주어졌을 때, PhySIC은 미터 단위로 정렬된 3D 인간 및 장면 지오메트리와 밀도 높은 정점 수준의 접촉 맵을 재구성합니다. 저희 방법은 인간 포즈, 장면 지오메트리, 전역 스케일을 공동으로 최적화하여 물리적으로 그럴듯한 인간-장면 쌍을 생성하며, 앉기나 발-바닥 접착과 같은 접촉 및 상호작용을 가려짐이 있는 상황에서도 정확하게 포착합니다. 단일 이미지로부터 미터 단위로 정확한 인간과 주변 장면을 재구성하는 것은 가상 현실, 로보틱스, 포괄적인 3D 장면 이해에 매우 중요합니다. 하지만 기존 방법들은 깊이 모호성, 가려짐, 물리적으로 일관되지 않은 접촉 문제로 어려움을 겪습니다. 이러한 문제들을 해결하기 위해, 저희는 물리적으로 그럴듯한 인간-장면 상호작용 및 접촉 재구성을 위한 통합 프레임워크인 PhySIC을 제안합니다. PhySIC은 단일 RGB 이미지로부터 공유 좌표계 내에서 미터 단위로 일관된 SMPL-X 인간 메시, 밀도 높은 장면 표면, 정점 수준의 접촉 맵을 복원합니다. 거친 단안 깊이와 파라메트릭 신체 추정치에서 시작하여, PhySIC은 가려짐을 고려한 인페인팅을 수행하고, 보이는 깊이와 스케일이 조정되지 않은 지오메트리를 융합하여 강건한 초기 미터 단위 장면 골격을 만들며, 바닥과 같이 누락된 지지 표면을 합성합니다. 이후 신뢰도 가중 최적화는 깊이 정렬, 접촉 사전 정보, 상호 관통 방지, 2D 재투영 일관성을 공동으로 적용하여 신체 포즈, 카메라 파라미터, 전역 스케일을 미세 조정합니다. 명시적인 가려짐 마스킹은 보이지 않는 신체 부위가 비현실적인 형태로 구성되는 것을 방지합니다. PhySIC은 매우 효율적이어서, 공동 인간-장면 최적화에 단 9초, 전체 재구성 과정에 27초 미만이 소요됩니다. 또한, 이 프레임워크는 자연스럽게 다수의 사람을 처리하여 다양한 인간-장면 상호작용의 재구성을 가능하게 합니다. 경험적으로, PhySIC은 단일 이미지 기반 방법들보다 성능이 월등히 뛰어나, 평균 정점별 장면 오차를 641mm에서 227mm로 줄이고, 포즈 정렬된 평균 관절 위치 오차(PA-MPJPE)를 42mm로 절반으로 줄이며, 접촉 F1-점수를 0.09에서 0.51로 향상시킵니다. 정성적 결과는 PhySIC이 현실적인 발-바닥 상호작용, 자연스러운 앉은 자세, 심하게 가려진 가구의 그럴듯한 재구성을 생성함을 보여줍니다. 단일 이미지를 물리적으로 그럴듯한 3D 인간-장면 쌍으로 변환함으로써, PhySIC은 접근 가능하고 확장 가능한 3D 장면 이해를 한 단계 발전시킵니다.

Table 1: 기존 인간-장면 재구성 방법들과 저희 방법의 비교. 저희 방법은 실내외 환경 모두에서 다중 인간 상호작용을 처리할 수 있으며, 훨씬 빠른 속도로 전체 장면을 예측합니다.

Fig 2: 방법 개요. 단일 RGB 이미지가 주어졌을 때, 3D로 정확한 인간, 장면, 접촉 재구성을 얻습니다. 먼저 상세한 지오메트리를 가진 완전한 미터 스케일 장면을 얻고(1단계, 3.1절), 접촉 없이 장면에 대략적으로 정렬된 인간 메시를 초기화합니다(2단계, 3.2절). 그런 다음 인간과 장면을 공동으로 최적화하여 상호 관통을 피하면서 접촉 제약 조건을 만족시킵니다(3단계, 3.3절).

Table 2: PROX 및 RICH 데이터셋에 대한 정량적 비교. 저희 방법은 더 나은 지역적 포즈(PA-MPJPE)와 더 정확한 접촉을 출력합니다. HolisticMesh가 PROX에서 MPJPE 수치는 더 좋게 보이지만, 실제 환경 데이터에서는 신뢰성이 떨어지고 강건하게 재구성하지 못하는 것을 발견했습니다(Fig 3 참조).

Fig 3: PROX 데이터셋(첫 번째 행)과 인터넷 이미지(두 번째, 세 번째 행)에 대한 정성적 결과. PhySIC의 출력을 PROX 및 HolisticMesh와 비교합니다. 인터넷 이미지에는 장면 스캔이 없으므로 저희가 추정한 장면으로 PROX를 실행했음을 참고하십시오. PROX와 HolisticMesh는 모두 사전 정의된 접촉 맵에 의존하기 때문에 복잡한 인간 포즈와 상호작용에 강건하지 못합니다. 저희 방법은 3D 장면을 재구성하고 입력에 기반하여 접촉 최적화를 조정하여 더 일관된 재구성을 이끌어냅니다. 더 많은 결과는 Fig 5와 Fig 7을 참조하십시오.

Table 3: 공동 인간-장면 최적화에서 다양한 손실 항의 영향을 분석한 애블레이션 연구. 깊이 손실 𝐿𝑑는 좋은 전역 정렬(MPJPE)을 보장하는 데 중요하며, 가려짐을 고려한 상호 관통 손실 𝐿𝑖는 지역적 포즈 정확도(PA-MPJPE)를 향상시킵니다.

Fig 4: 접촉 추정에 대한 정성적 결과. 저희 방법을 최신 이미지 기반 접촉 예측기인 DECO와 실험실 및 실제 환경에서 비교합니다. 저희 방법이 팔과 발의 미묘한 접촉을 어떻게 개선하는지 주목하십시오. 추가 예시는 Fig 6을 참조하십시오.

Fig 5: 실제 환경 이미지에 대한 추가적인 정성적 결과. 더 많은 결과는 보충 자료를 참조하십시오.

Fig 6: 접촉 추정에 대한 정성적 결과. 저희 방법을 최신 이미지 기반 접촉 예측기인 DECO와 비교합니다.

Fig 7: 인터넷 이미지에 대한 정성적 결과. PhySIC의 출력을 PROX 및 HolisticMesh와 비교합니다. HolisticMesh는 객체별 지오메트리를 추정하기 때문에 임의의 표면을 가진 장면을 모델링하는 데 실패합니다.