미분 가능한 시뮬레이터의 핵심 가치인 그래디언트 계산 능력을 바탕으로, 이를 최적화 알고리즘에 통합하는 방법과 설계 시의 트레이드오프, 그리고 주요 응용 분야를 포괄적으로 다루는 리뷰 논문의 초록입니다.

미분 가능한 시뮬레이터는 계산 물리, 로보틱스, 기계 학습 등 다양한 분야에서 최첨단 기술을 혁신하고 있습니다. 이들의 핵심 가치는 물리적 과정의 그래디언트를 계산하는 능력에 있으며, 이를 통해 시뮬레이터를 경사 하강법 기반의 최적화 스킴에 직접 통합할 수 있습니다.

이러한 시스템을 구축하기 위해서는 범용성, 계산 속도, 그리고 획득한 그래디언트의 정확도 사이의 트레이드오프를 고려한 설계 결정이 필요합니다. 본 논문은 진화하는 미분 가능 물리 시뮬레이터의 지형에 대한 심층적인 리뷰를 제공합니다. 우리는 일반적인 설계 선택과 함께 미분 가능한 시뮬레이터의 기초 및 핵심 구성 요소를 소개합니다. 이어서 과거 연구에서 사용된 오픈 소스 미분 가능 시뮬레이터에 대한 실용적인 가이드와 개요를 제공합니다. 마지막으로 미분 가능 시뮬레이션의 주요 응용 분야를 검토하고 맥락화합니다. 미분 가능 시뮬레이션의 최신 기술에 대한 포괄적인 리뷰를 제공함으로써, 본 연구는 연구자들이 자신의 연구 내에서 미분 가능 물리를 이해하고 통합하고자 할 때 유용한 리소스가 되는 것을 목표로 합니다. 마지막으로 현재의 한계점을 강조하고 해당 분야의 향후 방향에 대한 통찰력을 제공하며 결론을 맺습니다.

색인어: 미분 가능 시뮬레이터, 리뷰, 미분 가능 물리, 연성체 시뮬레이션, 시스템 식별, 궤적 최적화, 형태 최적화, 정책 최적화, 로보틱스

전통적인 물리 시뮬레이터는 데이터 생성에는 유용하지만 경사(gradient) 정보를 제공하지 못하는 한계가 있습니다. 본 논문은 딥러닝 프레임워크에 직접 통합 가능한 미분 가능 시뮬레이터의 원리, 종류 및 응용 사례를 종합적으로 검토합니다.

물리 시뮬레이터는 과학 분야에서 광범위하게 활용되며 산업, 디자인, 공학 및 로봇 공학 응용 분야를 위한 핵심 기술입니다. 이러한 시뮬레이터는 물리 법칙의 수학적 모델을 기반으로 하며, 로봇 공학의 관절 및 속도 제한과 같은 관련 제약 조건과 결합됩니다. 이를 통해 현재 시스템 상태가 주어졌을 때 미래를 수치적으로 예측하는 원칙적인 접근이 가능해집니다.

시뮬레이터는 멀티스레드 CPU 및 GPU, 고성능 컴퓨팅 클러스터와 같이 급격히 발전하는 하드웨어 자원을 활용하여 실시간보다 훨씬 빠르게 병렬 시뮬레이션을 수행함으로써 방대한 양의 데이터를 동시에 수집할 수 있게 되었습니다. 덕분에 시뮬레이션은 로봇 공학과 같이 데이터를 쉽게 얻기 어려운 시나리오에서 머신러닝 애플리케이션을 위한 핵심 도구가 되었습니다.

계산 가능한 데이터 생성을 제공함에도 불구하고, 전통적인 물리 시뮬레이터는 학습 과정을 주도하는 경사(gradient) 정보에 접근할 수 없다는 결정적인 한계가 있습니다. 이러한 제약은 미분 가능 시뮬레이터(Differentiable Simulators)라는 새로운 클래스의 개발을 촉진했습니다. 미분 가능 시뮬레이터는 종단간(end-to-end) 미분이 가능합니다. 즉, 시뮬레이션 전체 기간 동안 주어진 손실 함수에 대해 원하는 매개변수(예: 시뮬레이션된 궤적과 실제 궤적을 비교하는 평균 제곱 오차 손실에 대한 표면 마찰력)에 대한 경사를 계산할 수 있습니다. 따라서 경사 기반 최적화 프레임워크 및 딥러닝 파이프라인에 직접 통합할 수 있는 경로를 제공합니다.

본 리뷰 논문은 미분 가능 시뮬레이터의 개념, 작동 원리 및 연구 활용 사례에 대한 포괄적인 개요를 제공하는 것을 목표로 합니다. 또한 실무자가 적절한 도구를 선택할 수 있도록 잘 관리되는 오픈 소스 시뮬레이터 목록을 정리하고, 시스템 식별, 궤적 최적화, 정책 최적화 및 형태 최적화와 같은 주요 응용 분야를 검토합니다.

미분 가능 시뮬레이터의 4가지 핵심 구성 요소인 그래디언트 계산, 역학 모델, 접촉 모델, 적분기를 소개하고, 본 리뷰의 분석 범위와 수학적 표기법을 정의합니다.

미분 가능 시뮬레이터는 몇 가지 핵심 구성 요소로 이루어져 있습니다.

1) 그래디언트 계산 – 일반적인 물리 시뮬레이터와 차별화되는 요소로, 시뮬레이터의 파라미터에 대한 그래디언트를 계산하는 역할을 합니다.

2) 역학 모델(Dynamics Model) – 시뮬레이션 시스템을 지배하는 기저 물리 법칙입니다. 본 리뷰에서는 물리적 운동학 또는 역학적 구속 조건에 기반한 정의된 방정식 세트에 의해 물리 법칙이 지배되는 시뮬레이터로 범위를 한정합니다.

3) 접촉 모델(Contact Model) – 대부분의 미분 가능 시뮬레이터는 충돌 이벤트 중 물체 간의 상호작용을 시뮬레이션하기 위해 접촉 모델을 구현합니다. 이러한 접촉 모델은 접촉의 본질적인 불연속성으로 인해 그래디언트 계산에 독특한 과제를 제기합니다.

4) 적분기(Integrator) – 적분기는 이산적인 시간 단계에 걸쳐 운동 방정식을 수치적으로 해결합니다. 명시적(explicit) 적분 스킴을 통한 그래디언트 유도 및 계산은 비교적 간단하지만, 다음 시간 단계의 상태를 얻기 위해 비선형 방정식 시스템을 풀어야 하는 암시적(implicit) 적분 스킴은 독특한 어려움을 수반합니다.

이러한 구성 요소들은 집합적으로 미분 가능 물리 시뮬레이터의 기저 기질을 형성합니다. Figure 2는 최적화를 위해 물리 시뮬레이션의 그래디언트를 생성하기 위해 서로 다른 구성 요소들이 어떻게 상호작용하는지에 대한 단순화된 시각화를 보여줍니다.

본 리뷰의 범위는 미분 가능 물리 시뮬레이터이며, 시뮬레이션 데이터로 학습된 신경망은 제외합니다. 이러한 신경망은 물리 정보에 기반한 그래디언트를 도출하는 방법을 제공하지만, 기저 물리 모델을 준수하도록 강제되지 않기 때문입니다. 또한, 유한 차분법(finite differencing)을 사용하는 전통적인 시뮬레이터도 제외합니다. 목적에 맞게 구축된 미분 가능 시뮬레이터가 전통적인 시뮬레이터로는 달성할 수 없는 속도와 정확도로 도함수를 제공하기 때문입니다.

이 섹션 전체에서 $q, \dot{q}, \ddot{q} \in \mathbb{R}^n$은 각각 시스템의 $n$차원 일반화 좌표, 시간 도함수(속도), 그리고 2차 시간 도함수(가속도)를 나타냅니다. Table 1에는 본 리뷰에서 다루는 모든 미분 가능 물리 엔진의 개요와 각 엔진에 대한 상위 수준의 설계 선택 사항이 포함되어 있습니다.

미분 가능 시뮬레이터에서 그래디언트를 계산하는 세 가지 주요 방법인 자동 미분, 기호 미분, 해석적 미분을 설명합니다. 특히 접촉 모델링과 같은 불연속적인 상황에서 해석적 미분과 수반 행렬 방법의 효율성을 강조합니다.

그래디언트를 계산하는 방법에는 여러 가지가 있습니다. 다음에서는 A. 그래디언트 계산 섹션의 하위 항목으로 1) 자동 미분, 2) 기호 미분, 그리고 3) 해석적 그래디언트 유도에 대해 검토할 것입니다.

본 논문에서 검토한 대부분의 시뮬레이션 프레임워크는 그래디언트 계산의 중추로 자동 미분(Automatic Differentiation, AD)을 사용합니다. 이는 시뮬레이터가 복잡해질수록 수동으로 그래디언트를 유도하는 과정이 매우 번거로워지기 때문입니다. 반면, 기호 미분(Symbolic Differentiation)은 그래디언트 계산을 자동화함에도 불구하고, 미분 대상 함수의 크기에 따라 기호 표현식이 기하급수적으로 커지는 문제가 있어 실제 시뮬레이터에서는 거의 사용되지 않습니다.

이러한 자동화된 도구들은 성능이 중요한 애플리케이션에서 오버헤드를 발생시킬 수 있습니다. 또한, 불연속적인 동역학이나 명시적 함수가 아닌 타당성 문제(Feasibility Problem)의 해로 주어지는 경우에 적용하기 어렵습니다. 특히 접촉 모델링에서 이러한 문제가 자주 발생하며, 이럴 때는 해석적 유도(Analytical Derivation)나 선형 대수 기법을 사용하여 계산을 단순화하는 것이 유리합니다.

자동 미분(AD)은 아무리 복잡한 함수라도 기본적인 산술 연산과 기본 함수들의 조합으로 구성된다는 점을 이용합니다. 이를 통해 프로그램 방식으로 연쇄 법칙(Chain Rule)을 반복 적용하여 미분값을 계산합니다. AD에는 입력에서 출력 방향으로 계산하는 순방향 모드(Forward Mode)와 출력에서 입력 방향으로 계산하는 역방향 모드(Reverse Mode)가 있습니다. 미분 가능 시뮬레이터는 보통 수많은 매개변수에 대한 스칼라 손실 함수의 미분을 구하므로, 역방향 모드 AD가 주로 사용됩니다. Hu/2019/DiffTaichi 등은 파이썬 코드를 JIT 컴파일하여 그래디언트를 계산하는 소스 코드 변환 방식을 사용하기도 합니다.

기호 미분 역시 연쇄 법칙을 사용하지만, 수치 결과가 아닌 기호 표현식 자체를 생성합니다. 하지만 최적화 과정에서는 특정 지점에서의 그래디언트 값만 필요하므로 전체 표현식이 반드시 필요하지는 않습니다. 또한 함수가 복잡해질수록 표현식의 크기가 너무 커진다는 단점 때문에, 동역학이 단순하거나 시뮬레이터의 특정 구성 요소에만 제한적으로 사용됩니다.

불연속적인 프로세스에는 AD나 기호 미분을 적용하기 어렵습니다. 이럴 때는 해석적 그래디언트를 직접 유도하는 것이 정확도와 속도 면에서 유리합니다. 특히 접촉 모델링과 같이 타당성 문제로 표현되는 경우에 필수적입니다.

암시적 미분(Implicit Differentiation): $f(y, x) = 0$과 같은 관계식에서 한 변수가 다른 변수의 명시적 함수로 표현되지 않더라도 미분 $rac{dy}{dx}$를 구하는 기법입니다. 이는 이차 계획법(QP)이나 선형 상보성 문제(LCP) 형태의 접촉 모델에서 그래디언트를 얻는 데 유용합니다.

수반 행렬 방법(Adjoint Method): 선형 시스템을 풀어 얻은 수반 벡터(Adjoint Vector)를 사용하여 그래디언트 계산 비용을 획기적으로 줄이는 방법입니다. 수천 개의 매개변수가 전체 궤적에 미치는 영향을 일일이 계산하는 대신, 시스템 출력의 변화가 매개변수에 어떻게 전달되는지를 효율적으로 파악합니다.

이 섹션은 미분 가능한 시뮬레이터의 핵심인 역학 모델을 강체, 연성체, 유체 역학의 세 가지 범주로 나누어 설명하며, 각 모델의 수학적 기초와 미분 가능성을 위한 구현 방식을 다룹니다.

역학 모델은 시간이 지남에 따라 시스템이 어떻게 행동하는지 설명하는 수학적 모델입니다. 이는 입력 변화에 따라 시스템이 어떻게 반응할지 예측하는 데 사용될 수 있습니다. 동적 시스템을 모델링할 때는 세 가지 주요 범주인 강체 역학(Rigid Body Dynamics), 연성체 역학(Soft Body Dynamics), 그리고 유체 역학(Fluid Dynamics)으로 나뉩니다. 강체와 연성체 역학은 밀접하게 연관되어 있지만, 연성체 역학은 모델 내부에 내부 힘(internal forces)을 포함한다는 핵심적인 차이가 있습니다. 이러한 내부 힘의 포함을 통해 부드러운 재료의 복잡한 상호작용과 변형 특성을 더 충실하게 표현할 수 있습니다. 강체 역학에서는 주로 뉴턴(Newtonian) 또는 라그랑주(Lagrangian) 방법이 사용되지만, 내부 힘을 추가하여 연성체까지 확장할 수 있습니다. 또한 연속체 역학(Continuum Mechanics), 투영 역학(Projective Dynamics), 또는 유연 위치 기반 역학(XPBD)과 같이 연성체 모델링을 위해 특수 제작된 모델들도 존재합니다. 유체 역학은 유체 환경 내에서의 흐름 패턴과 상호작용을 연구합니다.

뉴턴 역학 모델은 뉴턴의 운동 법칙에 기초하며, 물체의 가속도를 질량과 작용하는 힘의 함수로 표현합니다.

그러나 위 식은 회전 운동을 무시하고 병진 운동만을 고려합니다. 뉴턴-오일러(Newton-Euler) 방법은 회전 운동까지 포함합니다.

많은 연구가 뉴턴 또는 뉴턴-오일러 역학을 사용하여 강체 시스템을 모델링합니다 de Avila Belbute-Peres/2018/End-to-End-Differentiable-Physics. Granados/2022/Differentiable-Steady-State는 뉴턴 방법을 적용하되 모델에서 발생하는 정상 상태 응답만을 고려합니다. 또한 로봇 손의 기구학을 고려하기 위해 뉴턴 역학에 기구학적 제약 조건을 통합하거나 Turpin/2022/Grasping, 재귀적 역학인 Articulated Body Algorithm을 사용하기도 합니다 Heiden/2019/TDS.

일부 연구는 뉴턴 역학을 힘 기반이 아닌 충격량 기반(Impulse-based) 모델로 구성합니다 Ding/2021/Impulse-Based. 이는 운동량 보존 법칙을 사용하여 충돌 시 속도 변화를 계산합니다. 운동량을 $F = \frac{dp}{dt}$로 업데이트한 후 적분 단계를 거쳐 새로운 속도를 계산하는 방식입니다 Jatavallabhula/2021/GradSim.

라그랑주 역학은 시스템의 경로가 작용(action)을 최소화한다는 최소 작용의 원리에 기반합니다.

해밀턴의 최소 작용 원리를 사용하여 에너지를 자동으로 보존하는 시뮬레이터를 구현하기도 합니다 Howell/2022/Dojo. 뉴턴, 라그랑주, 해밀턴 역학은 수학적으로 동등하지만 수식화하는 방식이 다를 뿐입니다.

강체 모델을 연성체로 확장하기 위해서는 내부 힘에 대한 고려가 필수적입니다. Neo-Hookean 재료 모델이나 유한 요소법(FEM)을 도입하여 변형률에 따른 에너지 밀도를 계산하고, 천을 직조된 탄성 막대로 모델링하는 등의 기법이 사용됩니다 Gong/2022/Differentiable-Cloth.

연속체 역학(Continuum Mechanics)은 물질을 이산 입자가 아닌 연속적인 실체로 다룹니다. 이는 질량 및 운동량 보존 법칙으로 표현됩니다.

연속체 역학은 주로 MLS-MPM 모델에서 채택됩니다 Hu/2019/DiffTaichi. 또한 소성(plasticity) 모델링을 위해 von Mises 항복 조건을 추가하여 영구 변형을 처리하기도 합니다 Huang/2021/PlasticineLab.

투영 역학(Projective Dynamics)은 컴퓨터 그래픽스에서 변형 가능한 물체를 시뮬레이션하는 암시적 적분 방법입니다 Geilinger/2020/ADD. 빠른 암시적 적분 속도와 적은 메모리 사용량이 장점입니다 Du/2021/DiffPD.

유연 위치 기반 역학(XPBD)은 속도 대신 입자의 위치를 직접 계산하고 제약 조건을 반복적으로 해결하는 방식입니다 Warp/2023. 물리적 법칙을 제약 조건으로 설정하여 밧줄의 비틀림이나 신축 등을 사실적으로 표현할 수 있습니다 Liu/2023/Rope.

유체 영역에서는 항력과 양력 방정식을 사용하거나, 비압축성 나비에-스토크스 방정식을 해결하는 미분 가능한 엔진들이 설계되고 있습니다 Holl/2020/PhiFlow. 또한 3차원 난류나 압축성 효과와 같은 복잡한 현상을 다루기 위한 전산 유체 역학(CFD) 프레임워크도 연구되고 있습니다 Bezgin/2023/JAX-Fluids.

미분 가능한 시뮬레이션에서 물리 모델을 시간에 따라 전진시키기 위한 명시적(Explicit) 및 암시적(Implicit) 적분 기법의 특성과 수치적 안정성 차이를 설명합니다. 명시적 방법은 구현이 쉽지만 안정성이 낮아 작은 시간 간격과 체크포인팅이 필요한 반면, 암시적 방법은 계산은 복잡하지만 큰 시간 간격에서도 안정적이며 미분 계산을 위해 특수한 기법이 필요함을 다룹니다.

계산된 힘을 사용하여 주어진 동적 모델을 시간상으로 전진시키기 위해서는 적분 기법(integration scheme)이 필요합니다. 이 섹션 전반에 걸쳐 표기법 $q_k, \dot{q}_k, \ddot{q}_k \in \mathbb{R}^n$은 각각 $k$번째 시간 스텝에서의 위치, 속도, 가속도 상태 벡터를 나타내며, $\Delta t \in \mathbb{R}^+$는 각 반복 사이의 시간 간격을 의미합니다.

적분 기법의 두 가지 주요 범주는 명시적(explicit) 및 암시적(implicit) 적분법입니다. 명시적 적분은 실제 구현이 더 간단하지만, 암시적 적분 기법에 비해 수치적 안정성이 떨어진다는 점이 잘 알려져 있습니다. 예를 들어, 기존 연구의 실험에 따르면 암시적 적분은 최대 $10ms$의 시간 간격에서도 안정적인 반면, 명시적 적분은 $0.5ms$ 이하의 시간 간격에서만 안정적입니다. 이로 인해 명시적 기법은 더 많은 시간 스텝을 시뮬레이션해야 하므로 메모리 오버헤드가 더 크며, 이를 줄이기 위해 체크포인팅(checkpointing)과 같은 기법이 필요합니다. 명시적 적분 기법은 연쇄 법칙을 통해 미분하기가 상대적으로 간단하지만, 비선형 방정식 시스템을 풀어야 하는 암시적 적분 기법은 그래디언트를 추출하기 위해 더 복잡한 기술이 필요합니다. 두 기법 모두 안정성과 정확도를 향상시키기 위해 Runge-Kutta 계열과 같은 고차 적분 방법을 사용하는 것이 일반적입니다.

가장 단순한 적분기인 명시적 전방 오일러(explicit forward Euler) 적분은 현재의 속도를 위치에, 현재의 가속도를 속도에 적용하여 객체의 상태를 업데이트합니다.

하지만 명시적 적분은 조건부 안정성(conditionally stable)을 가집니다. 즉, 시간 간격 $\Delta t$가 임계치 $t_{crit}$보다 크면 시뮬레이션이 불안정해질 수 있으며, 이는 복잡한 시뮬레이션에서 정확도 문제를 야기합니다. 이를 보완하기 위해 4차 Runge-Kutta(RK4)와 같은 고차 명시적 기법이나, 속도를 먼저 업데이트한 후 새 속도로 위치를 업데이트하는 반암시적 오일러 적분(semi-implicit Euler integration)이 사용되기도 합니다.

명시적 방법들의 공통적인 문제는 그래디언트 역전파를 위해 모든 시간 스텝의 정보를 메모리에 저장해야 한다는 점입니다. 시뮬레이션 기간이 길어질 경우 메모리 비용이 매우 커지는데, 이를 해결하기 위해 순방향 패스에서 일부 상태만 저장하고 역방향 패스에서 필요한 정보를 재계산하는 체크포인팅 방법이 제안되었습니다.

암시적 적분은 강성(stiff) 미분 방정식과 제약 조건을 명시적 방법보다 효과적으로 처리하도록 설계되었으며, 훨씬 큰 시간 간격을 사용할 수 있게 해줍니다. 암시적 후방 오일러(implicit backward Euler) 적분은 다음 시간 스텝의 그래디언트를 사용하여 상태를 계산합니다.

암시적 오일러 단계는 다음 상태를 찾기 위해 풀어야 하는 비선형 방정식 세트를 나타냅니다. 이를 해결하기 위해 뉴턴법(Newton's method)과 같은 반복법이나 테일러 급수 확장을 사용합니다. 이 경우 그래디언트는 암시적 미분(implicit differentiation)을 통해 계산되며, 효율성을 높이기 위해 수반 행렬 방법(adjoint method)이 흔히 사용됩니다. 또한, Hamilton의 최소 작용 원리를 이산화하여 유도된 변분 적분(variational integration) 스킴은 에너지와 운동량을 보존하며 큰 시간 간격에서도 안정적입니다.

최근에는 Projective Dynamics를 사용하여 비선형 방정식을 에너지 최소화 문제로 표현하고, Cholesky 분해를 사전 계산하여 뉴턴법보다 저렴한 비용으로 해와 그래디언트를 구하는 방식이 제안되어 수치적 우수성을 입증하였습니다.

이 섹션은 미분 가능한 시뮬레이션 엔진에 대한 실질적인 가이드를 제공하며, 기존 문헌에서 널리 사용된 8개의 주요 엔진과 최근 등장한 3개의 유망한 엔진의 특징을 요약합니다.

이 섹션은 미분 가능한 시뮬레이션 엔진에 대한 실질적인 가이드를 제공하는 것을 목표로 합니다. 미분 가능한 시뮬레이터에 관한 문헌 조사를 통해, 본 리뷰의 범위에 포함된 다른 연구들에서 채택된 8개의 미분 가능한 시뮬레이터를 확인했습니다. 표 2는 이 8개의 엔진과 3개의 추가적인 미분 가능한 물리 엔진의 주요 특징을 요약합니다. 후자의 세 엔진은 최근에 제안되어 아직 널리 채택되지는 않았지만, 실질적인 응용 가능성이 높습니다. 대부분의 시뮬레이터 코드베이스는 강체(rigid body) 시뮬레이션에 집중하고 있지만, 일부는 연성체(soft body) 시뮬레이션과 유체(fluid) 시뮬레이션도 지원합니다.

NVIDIA Warp는 JIT 컴파일을 통해 CPU와 GPU에서 고성능 강체 및 연성체 시뮬레이션을 지원하는 Python 기반 프레임워크입니다.

NVIDIA Warp는 고성능 시뮬레이션 및 그래픽 코드를 위해 설계된 Python 프레임워크로, 효율적인 CPU 및 GPU 실행을 위한 JIT(Just-In-Time) 컴파일 기능을 갖추고 있습니다.

Warp는 연성체(soft body) 및 강체(rigid body) 시뮬레이션을 모두 지원하며, 세미 임플리시트(semi-implicit)와 XPBD라는 두 가지 유형의 적분기를 제공합니다. 모델 구성은 URDF, MJCF 또는 USD 파일을 가져오거나 관절을 수동으로 추가하여 수행할 수 있습니다. 이 시스템은 최대 좌표계(maximal coordinate system)를 기반으로 하며, 비미분 렌더링과 모델 시각화를 위한 기본적인 미분 가능 레이캐스팅을 지원합니다. 또한 API를 통해 점, 인덱스, 속도를 제공함으로써 삼각형 기반 메쉬를 생성할 수 있습니다. Warp의 주요 기능 대부분은 gradSim과 같은 기존의 엔비디아 미분 가능 시뮬레이션 엔진에서 유래되었습니다.

Tiny Differentiable Simulator(TDS)는 외부 의존성이 없는 C++ 및 CUDA 기반의 강체 역학 시뮬레이터입니다. 단일 GPU에서 수천 개의 병렬 시뮬레이션이 가능하다는 강력한 장점이 있지만, 기본 도형 형태의 충돌체만 지원하며 변형 가능한 물체는 다룰 수 없다는 한계가 있습니다.

Tiny Differentiable Simulator (TDS)는 C++ 및 CUDA 기반의 물리 라이브러리로, 단순함과 외부 의존성이 없다는 점이 특징입니다. TDS는 강체 역학(rigid-body dynamics) 및 접촉 모델링에 집중하고 있으며, 따라서 변형 가능한 물체(deformable objects)는 지원하지 않습니다.

이 시뮬레이터의 한계점은 구, 평면, 캡슐과 같은 기본적인 충돌 형상(primitive collision shapes)만 지원한다는 것입니다. TDS의 주요 장점은 단일 GPU에서 수천 개의 병렬 시뮬레이션을 실행할 수 있는 능력입니다. TDS는 API를 설명하는 상세한 문서는 부족하지만, 다양하고 포괄적인 예제 코드를 제공하고 있습니다.

Nimble은 DART 엔진을 기반으로 개발된 고속 미분 가능 물리 엔진으로, 분석적 그래디언트와 PyTorch 연동을 지원하지만 단일 스레드 실행만 가능하다는 제약이 있습니다.

Nimble은 대중적인 DART 물리 엔진의 포크에서 시작되어, 분석적 그래디언트(analytical gradients)와 PyTorch 바인딩을 갖춘 빠르고 완전한 미분 가능 물리 엔진으로 발전했습니다.

Nimble은 브라우저 기반의 비미분 렌더링을 지원하여 시뮬레이션 장면을 시각화할 수 있습니다. 하지만 Nimble은 단일 스레드 실행을 위해 설계되었으며 병렬 환경을 지원하지 않는다는 한계가 있습니다.

DiffTaichi는 소스 코드 변환을 통해 동적 시스템의 그래디언트를 효율적으로 계산하는 데 최적화된 시뮬레이터로, 강체와 연성체를 모두 지원하지만 범용 엔진이 아니기에 표준 로봇 파일 형식을 지원하지 않는다는 특징이 있습니다.

DiffTaichi는 Taichi 미분 가능 프로그래밍 프레임워크를 사용하여 구현되었으며, 강체 및 연성체 시뮬레이션을 모두 지원합니다.

표 2는 11개의 오픈 소스 미분 가능 시뮬레이터를 보여줍니다. 이 중 8개는 기존 문헌에서 활용되었으며, 나머지 3개는 최근에 도입되어 아직 널리 채택되지 않았습니다. 이 목록은 연구자들이 시뮬레이터를 선택할 때 고려할 수 있는 사용자 기능에 초점을 맞추고 있습니다. 모든 엔진은 Python 바인딩을 제공하며 GPU 리소스에서 실행 가능합니다. 지원되는 객체 유형은 강체, 천을 포함한 변형 가능한 물체(Def), 그리고 유체의 세 가지입니다.

DiffTaichi에는 기능을 보여주는 여러 독립형 환경이 존재하지만, 이 섹션의 다른 시뮬레이터들과 달리 범용 물리 엔진으로 설계된 것은 아닙니다. 대신, 소스 코드 변환을 통해 동적 시스템의 그래디언트를 효과적이고 효율적으로 계산하는 방법을 제공하는 것을 목표로 합니다. 따라서 DiffTaichi는 URDF, MJCF, USD와 같은 일반적인 파일 형식을 지원하지 않으며, 운동학적 체인(kinematic chains)은 API를 통해 직접 프로그래밍 방식으로 입력해야 합니다.

Brax는 JAX를 기반으로 구축되어 대규모 병렬 시뮬레이션에 최적화된 확장성을 제공하며, 다양한 물리 백엔드와 로봇 모델 파일 형식을 지원합니다.

JAX를 기반으로 하는 Brax는 병렬 시뮬레이션 전반에 걸친 확장성을 제공합니다. Brax는 여러 백엔드 물리 파이프라인을 지원하며, MJCF 및 URDF 파일 로딩뿐만 아니라 프로그래밍 방식의 객체 모델 생성도 지원합니다. 또한 Brax는 비미분 브라우저 렌더링 시스템을 지원합니다.

GradSim은 미분 가능한 렌더링과 물리를 통합한 엔진으로 강체와 변형체 시뮬레이션을 모두 지원하지만, 병렬 실행 미지원과 문서 부족이라는 한계가 있습니다.

GradSim ($\nabla$Sim)은 최근 인기를 얻고 있는 미분 가능한 렌더링과 미분 가능한 물리를 통합하는 것을 목표로 합니다.

GradSim은 강체와 변형 가능한 물체의 시뮬레이션을 모두 지원합니다. 하지만 병렬 실행을 지원하지 않으며 API 문서가 제공되지 않아 새로운 사용자가 학습하는 데 어려움이 있을 수 있습니다.

Dojo는 로봇 공학에 특화된 미분 가능 물리 엔진으로, 변분 적분기를 사용하여 큰 타임스텝에서도 높은 수치적 안정성을 제공합니다. 메시 기반 충돌을 지원하지 않고 현재 유지보수가 중단된 상태임에도 불구하고 여러 연구에서 꾸준히 활용되고 있습니다.

Dojo는 로봇 공학을 위해 맞춤 제작된 미분 가능 물리 엔진입니다. Howell/2022/Dojo. Dojo는 안정성을 확보하고 큰 타임스텝($\Delta t$)을 처리하기 위해 변분 적분기(variational integrator)를 사용합니다. Dojo는 메시 기반 충돌은 지원하지 않으며, 오직 기본 도형(primitive shapes) 간의 충돌만 허용합니다. 현재 Dojo는 더 이상 활발하게 유지보수되지 않지만, 문헌 전반에서 이 엔진을 지속적으로 채택하고 있다는 증거가 확인됩니다.

PhiFlow는 유체 시뮬레이션의 핵심인 편미분 방정식을 해결하기 위한 미분 가능 프레임워크로, PyTorch와 JAX를 지원하며 외부 CFD 데이터를 활용할 수 있습니다.

PhiFlow (ϕFlow)는 주로 유체 시뮬레이션 응용 분야에 초점을 맞추어 편미분 방정식(PDE)을 해결하기 위한 미분 가능 시뮬레이션 프레임워크를 구축하는 것을 목표로 합니다. 이 프레임워크는 PyTorch와 JAX를 모두 지원하며, 미분은 불가능하지만 HTML 기반의 렌더링 기능도 제공합니다. 객체는 오픈 소스 CFD 시뮬레이션 소프트웨어인 su2의 CFD 파일에서 불러올 수 있습니다.

최근 제안된 DaXBench, FluidLab, JAX-Fluids는 각각 변형체 조작, 유체 조작, 고성능 전산 유체 역학(CFD)에 특화된 미분 가능 시뮬레이터들로, 머신러닝 워크플로우와의 통합을 목표로 합니다.

최근 몇몇 미분 가능 시뮬레이터들이 제안되었으며, 아직 다른 연구에서 널리 채택되지는 않았지만 주목할 만한 가치가 있습니다. DaXBench가 그 중 하나입니다. DaXBench는 유체, 로프, 천과 같은 다양한 변형 가능한 물체(deformable objects)를 지원합니다. daX는 $JAX$를 사용하며 OpenAI Gym과 원활하게 통합됩니다. DaXBench는 미분 가능 시뮬레이션을 사용한 변형 가능한 물체 조작의 새로운 접근 방식을 표준화된 환경에서 테스트하고 개발하기 위한 도구 역할을 목표로 합니다.

FluidLab은 또 다른 미분 가능 시뮬레이터로, 유체 조작 작업에 특화되어 있지만 강체 및 변형 가능한 물체 조작도 지원합니다. 이 미분 가능 시뮬레이터의 명칭은 FluidEngine이며, Taichi 미분 가능 프로그래밍 패러다임을 사용하여 구축되었습니다. FluidLab의 핵심은 에이전트가 목표를 달성하기 위해 특정 유형의 유체와 상호작용해야 하는 10가지의 서로 다른 조작 작업입니다.

마지막으로 언급할 가치가 있는 것은 JAX-Fluids입니다. JAX-Fluids는 $JAX$로 작성되었으며 전산 유체 역학(CFD)을 위해 설계되었습니다. 이 시뮬레이터는 최첨단 수치 해석 방법을 통합하며, 머신러닝 워크플로우 내에 CFD를 통합할 수 있도록 의도되었습니다. JAX-Fluids는 3차원 난류, 압축성 효과, 2상 유동(two-phase flows)과 같은 복잡한 유체 역학 시나리오를 처리하는 것을 목표로 합니다. 시뮬레이터 설정은 $JSON$ 형식을 사용하지만, 시뮬레이터 내에서 객체를 로드하는 기능은 현재 지원되지 않습니다. 또한 현재 병렬 시뮬레이션을 지원하지 않지만, 저자들은 가까운 시일 내에 이 기능을 지원할 계획이라고 밝혔습니다.

미분 가능한 시뮬레이터의 주요 응용 분야를 시스템 식별, 궤적 최적화, 형태 최적화, 정책 최적화, 신경망 증강 시뮬레이션의 다섯 가지 핵심 범주로 분류하여 소개합니다.

문헌에서 미분 가능한 시뮬레이터는 많은 문제의 해결책으로 적용되어 왔습니다. 이러한 응용 사례들은 근본적으로 최적화 문제를 푸는 것과 관련이 있으며, 이는 일반적으로 경사 기반 최적화 알고리즘을 사용하여 해결됩니다.

우리는 다섯 가지 주요 응용 분야를 검토합니다:

1) 시스템 식별(System Identification): 미분 가능한 시뮬레이터를 활용해 복잡한 시스템을 모델링하고, 효율적인 파라미터 튜닝 및 시스템 특성화를 수행합니다.

2) 궤적 최적화(Trajectory Optimization): 미분 가능성을 이용해 시뮬레이션 환경 내 객체의 경로를 정교화하고 최적화하여 제어 능력을 향상시킵니다.

3) 형태 최적화(Morphological Optimization): 미분 가능한 시뮬레이터를 사용하여 개체의 물리적 구조나 형태를 진화시키고 최적화합니다. 일반적으로 형태와 제어를 동시에 최적화하는 공동 최적화(co-optimization) 방식으로 수행됩니다.

4) 정책 최적화(Policy Optimization): 미분 가능한 시뮬레이터를 사용해 정책을 훈련하고 최적화하며, 특히 강화 학습 프레임워크에서 견고하고 적응력 있는 의사결정 전략 개발을 촉진합니다.

5) 신경망 증강 시뮬레이션(Neural Network Augmented Simulation): 시뮬레이터 내에 신경망을 통합하여 시뮬레이션을 실제 세계와 더 밀접하게 일치시킵니다.

위에 나열된 응용 분야들은 문헌에서 이루어지는 전형적인 구분에 따라 분류되었습니다. 미분 가능한 시뮬레이터의 활용 사례를 조사한 모든 논문은 이 다섯 가지 분야 중 하나로 분류될 수 있습니다. 각 응용 도메인의 연구 수와 중첩되는 부분은 Figure 5에 요약되어 있습니다.

시스템 식별은 관측된 데이터를 바탕으로 물리 시스템의 미지 파라미터를 추정하여 정확한 수학적 모델을 구축하는 과정입니다. 미분 가능한 시뮬레이터를 사용하면 기존 방식보다 적은 데이터로도 빠르고 정확하게 파라미터를 최적화할 수 있으며, 이는 실시간 제어 및 동적 환경 적응에 핵심적인 역할을 합니다.

시스템 식별(System Identification)은 시스템의 관측치를 기반으로 미지의 파라미터를 추정하여 물리 시스템의 정확한 수학적 모델을 구축하는 것을 목표로 합니다. 파라미터 $\theta \in \mathbb{R}^p$를 추정하기 위해, 대부분의 연구는 관측된 상태 궤적 $q_1, \dots, q_N \in \mathbb{R}^n$과 모델 파라미터 $\theta$가 주어졌을 때 물리 시뮬레이터가 추정한 상태 궤적 $\hat{q}_1(\theta), \dots, \hat{q}_N(\theta) \in \mathbb{R}^n$ 사이의 평균 제곱 오차(MSE)를 최소화합니다.

시스템 식별은 충돌하는 물체의 관성 특성(예: 질량 및 관성 모멘트)을 추정하는 데 사용되어 왔습니다 Jatavallabhula/2021/GradSim. 마찬가지로 진자 시스템의 관성 및 기구학적 특성도 추정되었습니다 Heiden/2019/Interactive. 다른 연구들은 천 Li/2022/Differentiable-Cloth, 튀어 오르는 물체 Du/2021/DiffPD, 로프 Liu/2023/XPBD, 또는 작동되는 소프트 로봇의 강성 및 탄성 특성을 추정합니다. 또한 로봇의 마찰 계수 추정이나 로봇 및 인간의 기록된 궤적 식별도 일반적인 응용 분야입니다. Lv/2023/Residual-Learning에서는 스캔된 포인트 클라우드에서 얻은 가구 모델을 미분 가능 시뮬레이션을 통해 반복적으로 개선하는 방법을 보여주었습니다. Figure 5의 벤 다이어그램은 이러한 응용 분야의 범위를 시각화하여 보여줍니다.

블랙박스 또는 그레이디언트가 없는 방식과 비교했을 때, 미분 가능한 시뮬레이션을 사용하면 더 적은 계산 시간으로 더 낮은 비용의 솔루션에 수렴할 수 있음이 입증되었습니다. Gong/2022/Implicit-Diff는 미분 가능 시뮬레이터가 미세한 움직임만 포함된 아주 적은 양의 시계열 데이터만으로도 천의 파라미터를 정확하게 식별할 수 있음을 보여주었습니다. 그러나 파라미터 관측 가능성(Parameter Observability)이라는 문제가 존재하는데, 이는 서로 다른 파라미터 값이 유사한 예측 궤적을 생성할 수 있음을 의미합니다 Le Lidec/2021/Differentiable-Physics. 이는 동시에 많은 파라미터를 추정할 때 더 큰 문제가 됩니다.

시스템 식별의 주요 용도 중 하나는 추정된 파라미터를 제어 작업에 사용하는 것입니다 Heiden/2019/Interactive. 예를 들어, 시스템 식별을 통해 로봇이 복잡한 '컵 속의 공' 작업을 수행하는 법을 배울 수 있습니다. 이러한 맥락에서 시스템 식별은 온라인 방식으로도 수행될 수 있으며, 에이전트가 작업을 수행하는 동안 지속적으로 측정되는 데이터를 바탕으로 파라미터를 업데이트합니다. 이는 동적으로 변화하는 환경에 대응하거나 오프라인 데이터를 미리 수집해야 하는 번거로움을 피하는 데 유리합니다 Chen/2022/Online-SI.

미분 가능한 시뮬레이터를 활용하여 시스템의 제어 입력과 상태 궤적을 최적화하는 방법론을 설명합니다. 특히 강화학습이나 블랙박스 최적화 방식보다 수렴 속도가 빠르고 정밀한 제어가 가능하다는 장점이 있으며, 로봇의 보행 및 물체 조작 등 다양한 과제에 적용됩니다.

궤적 최적화(Trajectory optimization)는 동적 시스템을 위한 최적의 상태 및 제어 입력 시퀀스를 결정하는 것을 목표로 합니다. 그 목적은 일반적으로 각 단계별 손실 함수 $L(u_i, \hat{q}_i)$와 최종 비용 $L_{terminal}(u_N, x_N)$으로 구성된 사전 정의된 비용 함수를 최소화하는 것입니다. 여기서 $u \in \mathbb{R}^m$은 제어 파라미터를 나타내며, $\hat{q}_1(u), \dots, \hat{q}_N(u) \in \mathbb{R}^n$은 제어 파라미터 $u$가 주어졌을 때 물리 시뮬레이터에 의해 추정된 상태 궤적을 의미합니다.

이 정의는 시스템 식별 문제와 밀접하게 연관되어 있지만, 모델 파라미터가 알려져 있다는 가정하에 제어 신호를 최적화하는 데 집중한다는 점이 다릅니다. 궤적 최적화는 시스템 식별이나 형태 최적화와 같은 다른 작업과 결합되는 경우가 많습니다. 예를 들어, Du/2021/Starfish-Control은 제어기가 큰 전진 속도를 생성할 수 있을 때까지 실제 데이터에 맞춰 궤적과 모델을 동시에 반복적으로 업데이트하는 방식을 제안했습니다.

일반적인 궤적 최적화 과제는 시뮬레이션된 본체를 특정 방향으로 이동시키는 것을 포함하며, 속도를 최대화하거나 일정하게 유지하는 것이 목표입니다. 이 작업은 소프트 바디, 강체, 텐세그리티 로봇 등 다양한 본체 유형에 적용 가능합니다. 단순한 전진 외에도 점프, 4족 보행 로봇의 다리 들기, 회전, 속도 추적 및 경로 지점 추종과 같은 벤치마크 과제들이 제시되었습니다.

로봇 조작 분야에서는 물체 던지기, 천의 모서리에 힘을 가해 바구니에 넣기, 로봇 팔을 이용해 양말이나 모자를 사람 모델에 입히는 작업 등이 연구되었습니다. 또한 근육 구동 팔을 이용한 도달 작업, 물체 밀기, 타겟을 향해 공 치기 등 다양한 조작 기반 과제가 탐구되었습니다. Turpin/2022/Grasp-Optimization은 속도와 안정성을 모두 향상시키기 위해 궤적 최적화를 통해 손의 파즈를 최적화하는 데 집중했습니다.

최근에는 도구를 이용해 밀가루 반죽을 들어 올리거나 펴는 등의 소프트 바디 조작 과제도 포함되었습니다. Huang/2021/PlasticineLab은 조작기를 사용하여 가소성 재료의 모양을 변형하는 소프트 바디 조작 벤치마크를 제시했습니다.

Huang/2021/PlasticineLab은 미분 가능한 물리 엔진을 사용하여 개루프(open-loop) 제어 시퀀스를 최적화하는 경사도 기반 방법이 강화학습(RL) 기반 접근 방식보다 벤치마크 과제를 더 효율적으로 해결한다는 것을 보여주었습니다. Li/2023/Differentiable-Cloth 등 여러 연구에서도 PPO와 같은 강화학습 알고리즘 대비 궤적 최적화의 효과를 강조했습니다.

하지만 시간 지평(time horizons)이 매우 긴 시나리오에서는 강화학습이 궤적 최적화보다 우수한 성능을 보일 수 있다는 의견도 있습니다. 그럼에도 불구하고 두 분야 모두 궤적을 정제하거나 데이터를 수집하는 데 있어 미분 가능한 시뮬레이션의 가치를 인정하고 있습니다. CMA-ES와 같은 무미분(derivative-free) 최적화 기법과의 비교에서도 경사도 기반 최적화는 더 빠른 솔루션 도달과 우수한 결과를 일관되게 보여줍니다.

궤적 최적화는 실시간 반응형 정책을 생성할 수 있는 강화학습에 비해 계산 시간이 더 많이 소요되지만, 이를 보완하기 위해 최적화된 궤적에 대한 모방 학습(imitation learning)을 결합하는 전략이 사용되기도 합니다. Chen/2023/daX는 미분 가능한 물리 시뮬레이터를 정책 학습 그래프에 통합하여 전문가와 에이전트 궤적 사이의 차이를 최소화함으로써, 실시간 솔루션을 제공하면서도 최적화의 특성을 유지하고자 했습니다.

형태 최적화는 로봇의 물리적 구조와 제어 정책을 동시에 최적화하는 공동 설계(Co-design)를 가능하게 하며, 미분 가능한 시뮬레이터의 그래디언트 정보를 활용해 고차원 문제를 효율적으로 해결할 수 있습니다.

형태 최적화(Morphology optimization)는 물리적 및 기하학적 제약 조건 하에서 미리 정의된 목표를 최적화하는 시스템의 재료 및 기하학적 특성 집합을 찾는 것을 목표로 합니다. 시스템 식별 및 궤적 최적화와 유사한 점이 있는데, 형태 최적화는 고정된 궤적에 대해 최적의 형태 파라미터를 식별하거나 Heiden/2021/Real2Sim, 제어 파라미터와 함께 최적화하여 공동 최적화된 궤적을 생성할 수 있기 때문입니다 Newbury/2023/Review. 형태 파라미터 $\omega \in \mathbb{R}^p$($p$는 파라미터의 수)는 모양, 크기, 재료 특성, 관절 구성 및 에이전트의 형태를 정의하는 기타 구조적 특징을 포함합니다.

형태 및 제어의 공동 최적화는 로봇 시스템의 구조적 설계와 목표 상태로 구동하는 제어 정책의 비용을 동시에 최적화하는 공동 설계(Co-design) 작업에서 흔히 사용됩니다. 일반적으로 제어 파라미터 $u$와 형태 파라미터 $\omega$에 대해 각 단계별 손실 함수 $L(u_i, \hat{q}_i, \omega)$와 최종 비용 $L_{terminal}(u_N, q_N, \omega)$을 최소화합니다.

미분 가능한 시뮬레이션은 문제 해결 시 그래디언트 정보를 사용할 수 있게 함으로써, 이러한 문제에서 발생하는 차원의 저주를 극복할 수 있는 수단을 제공합니다. 어려운 문제 공간을 다룰 수 있게 해주는 능력 덕분에 미분 가능한 공동 설계는 소프트 로봇의 형태와 제어를 최적화하는 데 인기 있는 방법론이 되었습니다 Spielberg/2019/Learning-Soft-Robot.

대표적인 작업으로는 변형 가능한 로봇 전체에 걸쳐 재료 강성(Young's modulus)의 최적 분포를 찾는 것과, 접촉이 많은 물체 조작 작업에서 성능을 향상시키기 위해 로봇 엔드 이펙터 및 맞춤형 도구 설계를 최적화하는 것이 있습니다 Xu/2021/End-to-End-Design. 또한 형태 형태에 대한 시뮬레이션 그래디언트를 사용하여 더 물리적으로 안정적인 모양을 생성하는 신경망을 훈련하기도 합니다 Mezghanni/2022/Physical-Stability.

진화 알고리즘이나 강화 학습 방법에 비해 더 빠른 수렴과 더 나은 제약 조건 만족을 달성한다는 것이 입증되었습니다. 그러나 단순한 설계 공간에서도 지역 최적점(Local minima)이 존재한다는 단점이 있습니다 Wang/2023/Design-Space.

최적화 효율을 높이는 방법 중 하나는 파라미터화 모델을 변경하는 것입니다. 케이지 기반 파라미터화(Cage-based parametrization)는 거친 폐쇄형 케이지의 정점을 사용하여 내부 공간의 변형을 제어하는 기법입니다. 이 방법은 메시 기반 방식보다 훨씬 낮은 차원의 최적화 공간을 결과로 가져오며, 그래디언트 기반 방법이 더 매끄러운 형태를 효율적으로 생성할 수 있게 합니다 Xu/2021/End-to-End-Design.

미분 가능한 시뮬레이터를 활용한 정책 최적화는 불연속성과 국소 최적해 문제로 인해 궤적 최적화보다 어렵지만, APG, PODS, SHAC 등 다양한 기법이 개발되고 있으며 신경망과 물리 엔진을 결합한 하이브리드 시뮬레이션 연구도 활발히 진행되고 있습니다.

궤적 최적화와 대조적으로, 제어 정책은 환경의 상태에 따라 조건화된 행동을 추상적으로 표현합니다. 그러나 정책 최적화는 최적화 지형에 내재된 국소 최적해(local minima)와 불연속성으로 인해 미분 가능한 시뮬레이션 맥락에서 상대적으로 적은 관심을 받아왔습니다. 제어 정책의 직접적인 매개변수화에는 파라메트릭 곡선 내의 각주파수 매개변수나 사인파의 매개변수를 최적화하는 방식이 포함됩니다. 예를 들어, 각주파수에 조건화된 정책은 부드러운 유선형 수영체의 움직임을 제어했고, 사인파 매개변수화는 칼의 절단 동작을 제어했습니다. 이러한 방식은 특정 문제에는 성공적이었지만, 정책을 곡선이나 사인파로 표현하는 것은 선택적인 문제에만 가능합니다. 대부분의 작업에서 신경망은 더 큰 유연성을 제공하지만 손실 지형에 복잡성을 도입합니다.

일부 연구에서는 제어 정책을 인코딩하기 위해 신경망 매개변수를 직접 최적화하는데, 이를 분석적 정책 그래디언트(APG) 또는 시간에 따른 역전파(BPTT)를 이용한 정책 최적화라고 부릅니다. 이러한 예시는 대개 시작 상태의 변화가 제한적이고, 개루프(open-loop) 제어, 단순화된 환경 접촉, 짧은 시계(horizon)를 가진 환경으로 제한됩니다. 긴 시계나 접촉이 빈번한 시나리오에서의 폐루프(closed-loop) 제어 작업에서는 APG와 같은 단순한 정책 최적화 방법이 차선책인 솔루션을 낼 수 있습니다. 따라서 이러한 설정에서 고성능 정책을 찾기 위한 다양한 접근 방식이 탐구되고 있습니다.

정책 학습을 강화하기 위해 샘플 향상과 정책 향상이라는 두 가지 기술이 제안되었습니다. 샘플 향상은 미분 가능한 시뮬레이터의 1차 근사 그래디언트를 활용하여 정확한 샘플을 추가로 생성함으로써 크리틱(critic)의 가치 함수 학습을 돕습니다. 정책 향상에서는 정책 네트워크가 미분 가능한 물리 시뮬레이터로부터 얻은 물리적으로 인지된 그래디언트를 사용하여 업데이트되며, 이는 일반적으로 더 정확합니다. PODS(Policy Optimization via Differentiable Simulation)는 결정론적 정책 그래디언트 알고리즘을 확장하여, 행동에 대한 가치 함수의 분석적 그래디언트를 계산합니다. SHAC(Short Horizon Actor Critic)은 짧은 시간 시퀀스에 대해 미분 가능한 시뮬레이터의 그래디언트를 활용하는 강화학습 알고리즘으로, 벽시계 시간(wall time)과 샘플 효율성 측면에서 기존 강화학습 알고리즘보다 뛰어난 성능을 보여주었습니다.

모방 학습 분야에서는 미분 가능한 물리 시뮬레이션을 궤적 최적화에 활용하고, 전문가 궤적으로부터 신경망 정책을 학습하기 위해 행동 복제(Behavior Cloning)를 사용합니다. 전문가 궤적과 에이전트 궤적 사이의 거리를 계산하는 손실 함수를 제안하여 정책 네트워크의 그래디언트를 계산하기도 합니다.

도전적인 최적화 지형에서 수렴을 개선하기 위해 여러 방법이 제안되었습니다. 무작위 평활화(Randomized smoothing)는 노이즈 분포를 사용하여 현재 단계 주변의 그래디언트를 평가함으로써 비매끄러움과 비볼록성 문제를 해결합니다. 또한, 알파 차수 그래디언트 추정기는 0차와 1차 그래디언트 추정치 사이를 보간하여 물리 엔진의 불연속성을 처리합니다. BO-Leap은 베이지안 최적화와 같은 전역 탐색 방법과 그래디언트 기반 국소 최적화를 결합하여 불연속성을 극복합니다.

신경망 증강 시뮬레이션은 시뮬레이션과 현실 세계 사이의 정렬을 개선하기 위해 신경망과 미분 가능한 물리 엔진을 통합하는 방식입니다. 일부 연구에서는 실제 미래 상태와 시뮬레이션된 다음 상태 사이의 잔차(residual)를 학습하도록 신경망을 훈련시켰습니다. 다른 연구에서는 미분 가능한 물리 엔진을 오토인코더 구조 내에 임베딩하여 전체 네트워크를 종단간(end-to-end)으로 훈련했습니다. 또한, 마찰 접촉 역학이나 물체의 물리적 특성과 같은 핵심 물리 매개변수의 모델을 학습하는 데 신경망을 사용하기도 합니다. 이러한 하이브리드 시뮬레이션 접근 방식은 물리 엔진이 모델링하지 못하는 역학을 고려하면서도, 딥러닝 전용 접근 방식보다 더 정확한 장기 예측과 빠른 수렴을 가능하게 합니다.

신경망과 미분 가능한 물리 엔진을 결합하여 시뮬레이션의 물리적 정확성과 현실 세계와의 일치성을 동시에 확보하는 방법론을 다룹니다. 잔차 학습과 오토인코더 구조를 통해 물리 엔진이 놓치기 쉬운 복잡한 역학을 효과적으로 보완합니다.

신경망 증강 시뮬레이션은 시뮬레이션과 현실 세계 사이의 정렬을 개선하기 위해 신경망과 미분 가능한 물리 엔진을 통합하는 것을 포함하며, 전체 증강 시뮬레이션 파이프라인을 미분 가능한 상태로 유지합니다. Lv/2023/Neural-Augmented는 신경망을 훈련시켜 물리 엔진에서 시뮬레이션된 다음 상태와 실제 미래 상태 사이의 잔차(residual)를 학습하도록 했습니다 (Figure 10, 왼쪽). 다른 연구들은 하이브리드 시뮬레이션을 위해 오토인코더 구조 내에 미분 가능한 물리 엔진을 임베딩하여 전체 네트워크의 종단간(end-to-end) 학습을 가능하게 하는 방법을 탐구했습니다.

이 방법은 시스템 식별 de-Avila-Belbute-Peres/2018/End-to-End, Heiden/2019/Interactive에 적용되었으며, 입력 RGB 프레임에서 디코딩된 객체 상태를 물리 엔진을 통해 짧은 타임스텝 동안 전진시킨 후, 다시 인코딩하여 출력 프레임을 생성합니다. 이러한 연구들은 신경망 증강 시뮬레이션이 실제 환경과 시뮬레이션 환경 사이의 정렬을 개선하는 장점이 있음을 입증했습니다.

다른 연구자들은 마찰 접촉 역학 Heiden/2021/Neural-Sim 및 객체의 물리적 특성 de-Avila-Belbute-Peres/2018/End-to-End과 같은 핵심 물리 파라미터 모델을 학습하는 데 신경망을 사용했습니다 (Figure 10, 오른쪽). 이러한 연구들은 증강 시뮬레이션 접근 방식이 참값(ground-truth)에 더 가까운 시스템 파라미터로 더 빠르게 수렴하게 하며, 기존 딥러닝 접근 방식보다 더 나은 일반화와 정확한 장기 롤아웃 예측을 가능하게 함을 보여주었습니다. 동시에 물리 엔진이 모델링하지 않는 역학까지 고려할 수 있다는 이점이 있습니다 Heiden/2021/Neural-Sim.

머신러닝의 최적화 요구에 부응하여 미분 가능 시뮬레이터가 발전해 왔으나, 복잡한 시스템에서의 비선형성, 불연속성, 그리고 그래디언트 추정의 편향성 및 높은 분산과 같은 기술적 한계가 여전히 존재합니다.

미분 가능 시뮬레이터에 대한 관심이 높아지는 이유는 주로 그래디언트 기반 최적화에 크게 의존하는 현재의 머신러닝 패러다임의 요구 때문입니다. 효율적인 그래디언트 계산 기술의 확산과 최적화 알고리즘에 대한 깊은 이해가 이러한 추세를 더욱 가속화했습니다. 섹션 3에서 자세히 다룬 것처럼, 현재 강력한 미분 가능 시뮬레이터 라인업이 구축되어 있어, 물리 시뮬레이터를 연구에 통합하려는 연구자들에게 귀중한 자원이 되고 있습니다.

섹션 4에서 살펴본 미분 가능 시뮬레이터의 응용 분야는 동작, 역학, 형태 최적화뿐만 아니라 더 넓은 미분 가능 워크플로우로의 통합을 포함하여 매우 다양합니다. 그러나 이러한 시뮬레이터의 잠재력을 완전히 실현하는 과정에는 몇 가지 과제가 남아 있습니다. Suh/2022/Differentiable-Simulators-Limitations는 현재 기술의 몇 가지 결정적인 한계를 조명합니다. 특히 장기 계획 및 제어가 필요한 복잡한 물리 시스템에서, 시뮬레이터의 성능은 비선형성, 비매끄러움, 그리고 불연속성과 같은 지형 특성(landscape characteristics)에 의해 저해됩니다. 이러한 복잡성으로 인해 그래디언트 추정 및 최적화에서 더욱 정교한 접근 방식이 요구됩니다.

또한, 이러한 고유한 지형 특성 때문에 결정론적 그래디언트를 사용하는 것이 하위 최적의 행동으로 이어질 수 있습니다. 불연속적인 역학을 근사화할 때 발생하는 그래디언트 추정의 부정확성인 경험적 편향(empirical bias) 현상도 큰 도전 과제입니다. 아울러, 지속적인 뻣뻣함이나 혼돈스러운 역학이 발생하는 시나리오에서는 그래디언트 추정치의 높은 분산이 문제가 될 수 있습니다.

이러한 복잡성은 미분 가능 시뮬레이터를 개발할 때 신중한 설계와 알고리즘적 고려가 필요함을 시사하며, 진화하는 이 분야에서 지속적인 연구와 개선의 중요성을 강조합니다.

미분 가능 시뮬레이터의 미래는 기울기 추정의 정확도 향상, 전역 탐색과 국소 최적화의 결합, 장기 작업 처리 능력 개선 및 실시간 응용을 위한 속도 확보에 달려 있으며, 센서 시뮬레이션과 Real-to-Sim 전이 학습이 핵심 연구 분야로 꼽힙니다.

앞으로 미분 가능 시뮬레이터가 나아갈 길에는 몇 가지 유망한 연구 및 개발 분야가 포함됩니다. 이러한 분야 중 일부는 응용 분야에 의해 주도되는 반면, 다른 분야는 시뮬레이션의 정확도를 높이면서 의미 있는 기울기(gradient)의 가용성를 향상시키기 위한 추가 연구를 요구합니다.

우리는 미분 가능 시뮬레이터의 지속적인 발전과 성장이 기대되는 연구 방향을 다음과 같이 보고 있습니다.

접촉 모델은 미분 가능 시뮬레이터의 핵심 구성 요소이지만, 기존 구현은 구현과 미분의 용이성을 위해 유연 모델(compliant models)이나 최적화 기반 모델을 통한 단순화된 근사치에만 의존하고 있습니다. 이러한 단순화가 생성된 기울기의 품질과 시뮬레이션된 동작이 실제 세계로 얼마나 잘 전이되는지 측면에서 미분 가능 시뮬레이션 성능에 어떤 영향을 미치는지 현재로서는 명확하지 않습니다. 이는 더 나은 접촉 모델을 제안함으로써 가용한 기울기를 개선하기 위한 추가 연구를 자극합니다. 더 정확하거나 유용한 기울기를 얻기 위한 잠재적인 대안적 접근 방식으로는 0차 및 1차 기울기 사이의 보간 또는 특정 지점 주변의 확률 분포에 대한 섭동(perturbed) 또는 평균 기울기를 사용하는 방법 등이 있습니다.

가용한 기울기를 효과적으로 활용하는 것은 또 다른 탐색 영역입니다. 현재 미분 가능 시뮬레이터와 그들이 제공하는 기울기의 한계로 인해, 국소 기울기 기반 최적화와 베이지안 최적화 또는 진화 알고리즘과 같은 전역 탐색 전략을 결합하는 방법은 비볼록(nonconvex) 최적화 문제의 고성능 솔루션을 찾는 유망한 경로입니다. 한 예로 세 가지 수준의 최적화를 사용하여 고성능 매개변수화된 정책을 찾는 연구가 있습니다. 유사하게, 국소 탐색과 무작위 섭동을 결합하여 국소 최적점(local minima)을 탈출하는 베이슨 호핑(basin-hopping) 기법이 활용되기도 합니다. 응용 분야로서의 정책 최적화는 상대적으로 연구가 부족하며, 미분 가능 시뮬레이터를 사용한 궤적 최적화의 속도가 실시간보다 느리기 때문에 정책 최적화는 향후 중요한 연구 분야로 남을 것입니다. 시뮬레이터에서 얻은 기울기를 활용하여 신경망으로 매개변수화된 고성능 정책을 찾을 수 있게 되는 것은 향후 온라인 반응형 정책 개발을 가능하게 하므로 점점 더 중요해질 것입니다. 마지막으로, 기울기 정보를 더 잘 활용하고 계산 효율성을 높이기 위해 다양한 손실 함수나 새로운 매개변수화 방법을 탐색하는 것도 조사할 가치가 있는 유망한 방향입니다.

장기 시계열에 대한 최적화는 여러 연구 분야에 걸친 미해결 과제입니다. 미분 가능 시뮬레이터는 기울기 소실 및 폭주와 같은 장기 시계열과 관련된 공통적인 과제를 공유하지만, 몇 가지 고유한 문제도 가지고 있습니다. 예를 들어, 확장된 시뮬레이션에서 기울기를 계산할 때 메모리 및 계산 비용이 크게 증가하는 문제입니다. 이러한 메모리 비용을 돕기 위해 체크포인팅(checkpointing)이 제안되었습니다. 또한, 미분 가능 시뮬레이터의 기울기는 국소적인 정보만 제공하기 때문에 장기 궤적 최적화가 국소 최적해에 빠지는 원인이 되기도 합니다. DiffSkill은 중간 목표와 기술 추상화를 사용하여 장기 문제를 분해함으로써 국소 최적해 문제를 극복합니다. 우리는 이러한 문제의 일부 측면이 미분 가능 시뮬레이터 사용자들에게 고유할 것이라고 주장합니다. 결과적으로 시뮬레이션 작업의 복잡성과 기간이 계속 증가함에 따라 이 연구 방향이 미래에 더욱 중요해질 것으로 예상합니다.

미분 가능 시뮬레이터의 발전은 미분 가능 센서 모델의 통합을 통해 강화될 수 있습니다. 이러한 모델은 로보틱스에서의 환경 인식 및 상호작용과 같은 작업에 중요한 강력한 Real-to-Sim 및 Sim-to-Real 워크플로우를 촉진합니다. PyTorch3D와 같은 프레임워크를 통해 이미지 및 포인트 클라우드의 미분 가능 렌더링 접근 방식을 통합하면 시뮬레이션의 사실성과 실용성이 증대될 뿐만 아니라 미분 가능한 특성도 유지됩니다. 이러한 추세는 다양한 센서 모델에 대한 추가 탐색과 실제 센서 기능을 모방한 다중 미분 가능 센서의 시뮬레이터 통합을 위한 길을 열어줍니다.

미분 가능 시뮬레이터의 기울기를 사용하여 실시간으로 온라인 액션을 최적화하는 것은 매력적인 개념입니다. 그러나 현재의 미분 가능 시뮬레이터는 실시간 속도 이하로 작동하여 온라인 최적화 프레임워크 내에서의 적용이 제한적입니다. 이 연구 방향은 엄청난 잠재력을 가지고 있지만, 지금까지 입증된 실제 작업은 시뮬레이터의 현재 한계로 인해 상대적으로 단순한 작업에 국한되어 있습니다.

계획 및 궤적 최적화와 같은 후속 작업을 용이하게 하기 위해 시뮬레이터 내에서 포괄적인 환경 모델을 재구성하는 Real-to-Sim 전이 학습 분야는 향후 성장이 기대되는 또 다른 응용 분야입니다. 이 방향은 시스템 식별에서 다루는 것 이상의 다양한 모델링 과제를 포함하며, 시뮬레이터 내에서 환경 역학을 표현하는 동시에 미분 가능한 특성을 활용하는 측면에서 주목할 만한 발전을 목격하고 있습니다.

미분 가능 시뮬레이션은 현재의 시뮬레이션 제품군에 비해 몇 가지 장점을 제공합니다. Brax, Warp, TDS와 같은 오픈 소스 시뮬레이터는 병렬 시뮬레이션을 지원하여 GPU 기능을 활용한 동시 환경 구동을 가능하게 하며, 이는 모방 학습과 같은 작업에서 신속한 모델 학습에 활용되어 왔습니다. 또한, 대부분의 미분 가능 시뮬레이터는 PyTorch나 JAX와 같은 일반적인 워크플로우에 원활하게 통합됩니다. 그러나 제한된 센싱 능력, API의 가파른 학습 곡선으로 인한 복잡성, 기존 시뮬레이션 소프트웨어에 비해 상대적으로 적은 기능 등의 과제가 남아 있습니다. 더욱이, 특히 강화 학습 응용 분야에서 기울기의 필요성이 보편적으로 확립되지 않았기 때문에 추가적인 연구가 필요합니다. 또한, 미분 가능 시뮬레이션의 미묘한 지형에 맞춤화된 최적화 기술이 그 잠재력을 완전히 실현하기 위해 개발되어야 합니다.

이 섹션은 미분 가능한 물리 시뮬레이션의 연구 범위, 주요 구성 요소의 상호작용, 다양한 시뮬레이터 엔진의 특징(Table 1, 2), 그리고 시스템 식별, 궤적 및 형태 최적화, 정책 학습 등 주요 응용 분야를 시각화한 그림과 표에 대한 캡션을 포함하고 있습니다.

Fig 1: 미분 가능 시뮬레이션 분야의 연구 범위를 시각화한 그림입니다. 연성체 및 강체 시뮬레이션, 시스템 식별, 궤적 최적화, 형태 최적화 등 본 리뷰에서 다루는 다양한 주제를 포함합니다.

Fig 2: 미분 가능 시뮬레이터의 각 구성 요소가 어떻게 상호작용하여 최적화에 필요한 물리 시뮬레이션의 그래디언트를 생성하는지 보여주는 개요도입니다.

Table 1: 본 리뷰에서 조사된 모든 미분 가능 물리 시뮬레이터의 목록입니다. 그래디언트 방법, 동역학 모델, 접촉 모델, 적분기 등 주요 구성 요소를 열로 강조하여 비교합니다.

Fig 3: (a) 쿨롱의 법칙을 정의하는 2차 마찰 원뿔과 (b) 선형 상보성 문제(LCP)를 위해 이를 선형화한 사각 피라미드 모델의 비교입니다.

Fig 4: 다양한 접촉 모델 구현의 비교입니다. 컴플라이언트 모델은 불연속적인 접촉 조건을 완화하여 유한한 그래디언트를 가질 수 있도록 근사합니다.

Table 2: 11개의 오픈 소스 미분 가능 시뮬레이터의 기능을 요약한 표입니다. 강체 및 변형 가능한 물체, 유체 지원 여부와 통합 환경 등을 보여줍니다.

Fig 5: 미분 가능 시뮬레이터의 다양한 응용 분야를 시각화한 면적 비례 벤 다이어그램으로, 숫자는 인용된 논문의 수를 나타냅니다.

Fig 5: 본 리뷰에서 탐구된 미분 가능 시뮬레이터의 응용 분야를 보여주는 벤 다이어그램입니다. 각 영역의 숫자는 누적된 참조 문헌 수입니다.

Fig 6: 시스템 식별에 미분 가능 시뮬레이션을 적용한 예시입니다. 탄성 공의 강성 및 감쇠비와 같은 물성 파라미터를 추정하여 실제 궤적과 일치시킵니다.

Fig 7: (왼쪽) 다양한 지표에 대한 파지 포즈 최적화와 (오른쪽) 불가사리 로봇의 전진 이동을 위한 궤적 최적화 결과입니다.

Fig 8: 형태 최적화에 적용된 미분 가능 시뮬레이션의 예시입니다. 두 예시 모두 케이지 기반 형태 파라미터화를 활용합니다.

Fig 9: 미분 가능 물리 시뮬레이터의 그래디언트를 사용하여 학습된 제어 정책의 예시입니다. 정책은 신경망을 통해 파라미터화됩니다.

Fig 10: 신경망 증강 시뮬레이션 방법의 비교입니다. (왼쪽) 실제 상태와의 잔차를 학습하는 방식과 (오른쪽) 물리 모델의 일부를 신경망으로 대체하는 하이브리드 시뮬레이션 방식입니다.