이 논문은 물리 과정의 기울기(gradient)를 계산하여 최적화에 활용할 수 있는 미분 가능 시뮬레이터에 대한 포괄적인 리뷰를 제공합니다. 시뮬레이터의 기초 원리, 오픈 소스 도구, 주요 응용 분야 및 미래 전망을 다룹니다.

미분 가능 시뮬레이터(Differentiable simulators)는 계산 물리학, 로봇 공학, 머신러닝 등 다양한 분야에서 최첨단 기술을 이끌고 있습니다. 이들의 주된 가치는 물리 과정의 기울기(gradient)를 계산할 수 있다는 점이며, 이를 통해 널리 사용되는 기울기 기반 최적화(gradient-based optimization) 기법에 쉽게 통합될 수 있습니다.

이를 달성하기 위해서는 범용성, 계산 속도, 그리고 얻어진 기울기의 정확도 사이의 트레이드오프(trade-offs)를 고려한 다양한 설계 결정이 필요합니다. 본 논문은 진화하는 미분 가능 물리 시뮬레이터 분야에 대한 심층적인 리뷰를 제공합니다.

우리는 미분 가능 시뮬레이터의 기초와 핵심 구성 요소를 일반적인 설계 선택과 함께 소개합니다. 이어서 과거 연구에서 사용된 오픈 소스 미분 가능 시뮬레이터들에 대한 실용적인 가이드와 개요를 제공합니다. 마지막으로, 미분 가능 시뮬레이션의 주요 응용 분야를 검토하고 맥락을 짚어봅니다.

미분 가능 시뮬레이션의 현재 기술 수준에 대한 포괄적인 리뷰를 제공함으로써, 본 연구는 연구자들과 실무자들이 자신의 연구에 미분 가능 물리학을 이해하고 통합하는 데 도움이 되는 리소스가 되는 것을 목표로 합니다. 마지막으로 현재의 한계점을 강조하고 이 분야의 미래 방향에 대한 통찰을 제공하며 결론을 맺습니다.

이 섹션에서는 미분 가능한 시뮬레이터의 핵심인 그래디언트 계산 방법으로 자동 미분(AD), 기호 미분, 그리고 해석적 미분(암시적 미분 및 Adjoint 방법 포함)을 비교하고 설명합니다. 특히 시뮬레이터의 복잡성과 접촉 모델링의 불연속성을 다루기 위해 각 방법이 가진 장단점과 적용 사례를 분석합니다.

그래디언트를 계산하는 방법은 다양합니다. 다음에서는 섹션 II-A1의 자동 미분, 섹션 II-A2의 기호 미분, 그리고 섹션 II-A3의 해석적 미분 유도를 검토합니다.

본 논문에서 검토된 대부분의 시뮬레이션 프레임워크는 자동 미분(Automatic Differentiation, AD)을 그래디언트 계산의 핵심으로 사용합니다. 이는 자동 미분이 수동으로 그래디언트를 유도해야 하는 필요성을 없애주기 때문이며, 시뮬레이터가 복잡해질수록 수동 유도는 점점 더 번거로워집니다. 반면, 기호 미분(Symbolic Differentiation)은 주어진 함수의 그래디언트 평가를 자동화해주지만, 미분할 함수의 크기에 따라 지수적으로 증가하는 기호 표현식을 생성해야 하므로 미분 가능한 시뮬레이터에서는 자동 미분에 비해 거의 사용되지 않습니다.

이 두 가지 자동화된 도구는 오버헤드를 발생시켜 성능이 중요한 애플리케이션에서는 불리할 수 있습니다. 마찬가지로, 불연속적인 동역학이나 명시적 함수가 아닌 타당성 문제(feasibility problem)의 해로 주어지는 경우(예: 접촉 모델링)에는 이러한 방법을 적용하기 어렵습니다. 이러한 시나리오에서는 대신 해석적 미분(Analytical Gradients)을 유도하거나 선형 대수학 등의 해석적 기법을 사용하여 계산을 단순화하는 것이 유리할 수 있습니다. 전체적으로 자동 미분을 사용하지 않고 모든 그래디언트를 해석적으로 계산한 연구는 단 하나뿐입니다.

자동 미분(AD)은 복잡한 함수라도 덧셈, 뺄셈 등의 기본 연산과 사인, 코사인, 지수 함수 등의 함수로 구성된다는 사실에 기반하며, 이를 통해 연쇄 법칙(chain rule)을 프로그래밍 방식으로 반복 적용하여 미분값을 계산합니다. AD에는 두 가지 주요 유형인 전방 모드(forward mode)와 후방 모드(reverse mode)가 있습니다. 전방 모드는 입력에서 시작하여 연쇄 법칙을 통과하며 출력보다 입력이 적을 때 효율적입니다. 반면, 후방 모드(reverse mode)는 출력에서 시작하며 입력이 출력보다 많을 때 더 효율적입니다. 미분 가능한 시뮬레이터는 일반적으로 많은 시뮬레이션 파라미터에 대해 단일 스칼라 목적 함수의 미분을 구하는 데 사용되므로, 주로 후방 모드 AD가 사용됩니다. 또 다른 접근 방식으로는 소스 코드 변환(source code transformation)이 있으며, 이는 Python 코드에 JIT 트랜스파일러를 사용하여 그래디언트를 계산하는 함수를 생성합니다.

AD와 마찬가지로 기호 미분도 연쇄 법칙을 반복 적용하여 미분을 계산합니다. 그러나 AD가 미분의 수치적 값을 계산하는 반면, 기호 미분은 기호 표현식을 생성합니다. 미분 가능한 시뮬레이터 애플리케이션에서는 보통 그래디언트 기반 최적화를 수행하기 위해 단일 지점에서 평가된 그래디언트만 필요하므로 전체 기호 그래디언트는 필요하지 않습니다. 또한 앞서 논의한 바와 같이, 기호 미분의 주요 단점은 함수의 복잡도에 따라 기호 그래디언트의 크기가 급격히 커진다는 점입니다. 따라서 기호 미분은 동역학이 단순하거나 시뮬레이터의 일부 구성 요소에 대해서만 제한적으로 사용됩니다.

불연속적인 프로세스나 현상에 AD나 기호 미분을 적용하는 것은 어려울 수 있습니다. 이러한 상황에서는 미분 가능한 시뮬레이터에서 발생하는 함수의 미분 표현식을 수동으로 유도하는 것이 유리합니다. 또한 AD와 기호 미분은 온라인에서 그래디언트를 계산해야 하지만, 해석적 미분은 사전에 명시적인 그래디언트 표현식을 제공하므로 더 빠르고 정확하게 계산할 수 있습니다. AD나 기호 미분을 적용하기 어려운 또 다른 상황은 표현식이 타당성 문제로 주어지는 경우이며, 이는 주로 접촉 모델링(contact modeling)에서 발생합니다. 이러한 구성 요소는 종종 해석적 미분 유도를 필요로 합니다.

그래디언트의 명시적 표현식을 수동으로 유도할 때, 저자들은 종종 암시적 미분(Implicit Differentiation)이나 Adjoint 방법(Adjoint Method)과 같은 표준 기법을 따릅니다.

암시적 미분: 암시적 미분은 두 변수를 포함하는 식 $f(y, x) = 0$에서 한 변수가 다른 변수의 함수 $y(x)$로 명시적으로 표현되지 않을 때도 도함수 $dy/dx$를 얻는 기법입니다. 이 기법은 타당성 문제나 최적화 문제로 표현되는 접촉 모델에 특히 유용합니다.

이후 연구들은 이 공식을 확장하여 다양한 제약 조건을 다루었습니다. 일부는 QR 분해를 사용하여 선형 시스템의 크기를 최소화하거나, 비선형 제약 조건을 처리하기 위해 야코비안(Jacobian) 정보를 통합하기도 했습니다.

Adjoint 방법: Adjoint 방법은 선형 시스템을 풀어 얻은 Adjoint 벡터를 활용하여 그래디언트 획득 과정을 계산적으로 덜 비싸게 만듭니다. 이 Adjoint 벡터는 시스템 출력(예: 최종 상태)의 변화가 파라미터 변화와 어떻게 연관되는지에 대한 정보를 캡슐화합니다. 그래디언트 계산에 이 벡터를 사용하면 각 파라미터가 전체 궤적에 미치는 영향을 직접 계산하지 않고도 시스템 동작에 영향을 미치는 파라미터를 효율적으로 계산할 수 있습니다.

Adjoint 방법은 단일 선형 시스템을 풀어 Adjoint 벡터 $z = (\frac{\partial f}{\partial q})^{-T} \frac{\partial L}{\partial q}$를 먼저 계산함으로써 이를 회피합니다. 그 후 원하는 그래디언트는 다음과 같이 계산됩니다.

이 섹션은 미분 가능한 시뮬레이터의 동역학 모델을 강체(Rigid), 연체(Soft), 유체(Fluid)로 분류하여 설명합니다. 뉴턴 및 라그랑주 역학, 연속체 역학(Continuum Mechanics), XPBD 등 각 물리 시스템을 표현하는 핵심 수식과 방법론을 다룹니다.

동역학 모델(Dynamics Model)은 시스템의 시간적 거동을 수학적으로 기술하여 입력 변화에 따른 반응을 예측합니다. 동역학 모델링은 크게 강체(Rigid Body), 연체(Soft Body), 유체(Fluid) 동역학의 세 가지 범주로 나뉩니다. 강체와 연체 동역학은 밀접하게 연관되어 있지만, 핵심적인 차이는 연체 동역학이 내부 힘(Internal Forces)을 포함한다는 점입니다. 이를 통해 연성 물질의 복잡한 상호작용과 변형 특성을 충실히 표현할 수 있습니다.

뉴턴 동역학 모델은 물체의 가속도를 힘과 질량의 함수로 표현하는 뉴턴의 운동 법칙에 기초합니다.

회전 운동까지 고려하기 위해 Newton-Euler 방정식이 사용됩니다.

일부 연구는 힘 기반 모델 대신 충격량 기반(Impulse-based) 모델을 사용하여 충돌 시 운동량 보존을 통해 속도 변화를 계산합니다. 반면, 라그랑주(Lagrangian) 역학은 시스템의 동작이 작용(Action)을 최소화한다는 최소 작용의 원리에 기초합니다.

강체 역학을 연체로 확장하려면 형상, 부피 변화에 저항하는 내부 힘을 고려해야 합니다. 이를 위해 연속체 역학(Continuum Mechanics)이 사용되며, 이는 질량과 운동량 보존 법칙으로 표현됩니다.

대표적인 연체 모델링 기법으로는 MLS-MPM, Projective Dynamics, 그리고 XPBD(Compliant Position-Based Dynamics)가 있습니다. XPBD는 속도 대신 위치를 직접 계산하고 제약 조건을 반복적으로 해결하여 입자의 위치를 업데이트하는 방식입니다.

유체 역학을 미분 가능한 시뮬레이션에 도입하려는 시도들도 있습니다. 일부는 양력(Lift)과 항력(Drag) 같은 공기역학적 힘을 계산하거나, 비압축성 나비에-스토크스(Navier-Stokes) 방정식을 직접 해결하는 엔진을 설계하기도 합니다.

이 섹션은 미분 가능한 시뮬레이터에서 가장 까다로운 부분인 접촉(Contact) 모델링을 다룹니다. 불연속적인 접촉 현상을 미분 가능하게 만들기 위해 상보성 문제(NCP/LCP), 유연(Compliant) 모델, 위치 기반(Position-based) 모델 등 다양한 접근법과 각각의 그라디언트 계산법을 설명합니다.

미분 가능한 물리 시뮬레이터를 구현할 때 가장 큰 어려움 중 하나는 접촉(Contact) 모델링입니다. 접촉은 물체가 닿아 있거나 닿지 않은 이진 상태(binary state)로 존재하기 때문에, 매우 비선형적이고 불연속적인 거동을 보이기 때문입니다. Fig. 4에서 볼 수 있듯이 접촉력은 불연속적인 계단형 함수(step-like function)로 나타나며, 이 경우 그라디언트가 잘 정의되지 않습니다.

이하에서 접촉력은 $\lambda = (\lambda_n, \lambda_t) \in \mathbb{R} \times \mathbb{R}^2$로 표기하며, 여기서 $\lambda_n$과 $\lambda_t$는 두 물체 사이의 접촉면에 대한 수직(normal) 및 접선(tangential) 힘을 나타냅니다. 마찬가지로 두 물체 사이의 상대 속도는 $\dot{q} = (\dot{q}_n, \dot{q}_t) \in \mathbb{R} \times \mathbb{R}^2$로 표현됩니다.

접촉 모델은 일반적으로 두 가지 목적을 가집니다: 물체 간의 관통(interpenetration)을 해결하는 것과 마찰력을 적용하는 것입니다. 첫째, 접촉 모델은 접촉한 두 고체 물체가 서로를 뚫고 지나가지 않도록 보장해야 합니다. 이러한 비관통(Non-penetration) 조건은 수학적으로 다음과 같이 표현될 수 있습니다.

둘째, 두 물체가 접촉해 있을 때 마찰력이 모델링되어야 합니다. 물리 시뮬레이터에서 마찰력은 가장 일반적으로 쿨롱의 마찰 법칙(Coulomb's friction law)을 사용하여 모델링됩니다. 이는 마찰력의 최대 크기가 수직 항력에 비례한다는 것을 의미합니다.

접촉력을 구하는 가장 자연스러운 방법은 비관통 조건과 쿨롱 마찰 법칙을 만족하는 힘과 속도 쌍을 찾는 것입니다. 이는 타당성 문제(feasibility problem)를 푸는 것과 같습니다. 이를 비선형 상보성 문제(NCP)라고 하며, 비선형성은 마찰 제약 조건에서 발생합니다. 일부 연구는 이 NCP를 직접 풉니다. 반면, 일부 연구는 2차 마찰 원뿔을 마찰 피라미드로 근사하여 선형 상보성 문제(LCP)로 변환합니다. LCP는 풀기 더 쉽지만, 마찰력이 피라미드의 모서리 쪽으로 편향되는 단점이 있습니다.

상보성 기반 접촉 모델에서 그라디언트를 얻기 위해, 최적화 방법을 사용하는 연구들은 KKT 조건(Karush-Kuhn-Tucker conditions)을 통해 암시적 미분(implicit differentiation)을 수행합니다. 또 다른 방법으로는 Projected Gauss-Seidel (PGS) 방법을 사용할 수 있습니다. PGS 알고리즘 자체를 자동 미분(Auto Diff)할 수도 있지만 계산 비용이 큽니다. 대신 Adjoint Method를 사용한 역방향 PGS(reverse PGS)를 통해 효율적으로 그라디언트를 얻을 수 있습니다.

이와 관련된 방법으로 충격량 기반(Impulse-based) 방법이 있습니다. 이러한 방법에서 시간이 이산화(discretized)될 때 충돌 지점의 그라디언트가 부정확할 수 있다는 점이 밝혀졌습니다. 이를 해결하기 위해 연속 충돌 시점(Time-of-Impact, TOI) 방법이 제안되었으며, 이는 이산 시간 간격 사이에서 충돌이 발생하더라도 정확한 충돌 시간을 계산하여 더 정확한 그라디언트를 제공합니다.

상보성 기반 모델은 물체 간 관통이 전혀 없는 '단단한(hard)' 접촉을 시뮬레이션합니다. 또 다른 방법은 접촉을 유연한(soft) 접촉으로 근사하여 약간의 관통을 허용하는 것입니다. 유연 모델은 접촉 함수의 불연속성을 유한하지만 충분히 큰 기울기를 가진 함수로 근사합니다. 이를 통해 비관통 및 마찰력 함수에서 직접 그라디언트를 얻을 수 있습니다.

이러한 선형화의 잠재적 문제는 접촉이 없을 때 그라디언트가 0이 되어, 최적화기가 새로운 접촉을 만들어내기 어렵다는 점입니다. 이를 해결하기 위해 Leaky ReLU와 유사하게 비활성 영역에도 작은 그라디언트를 도입하는 방법이 사용됩니다.

힘과 속도를 계산하는 대신, 물체의 위치를 직접 제약하여 관통을 방지하는 방법입니다. 대표적인 프레임워크로는 XPBD (Compliant Position-Based Dynamics)가 있습니다. 다른 위치 기반 모델들은 접촉을 고려하지 않고 업데이트를 수행한 후, 접촉 제약 조건을 만족시키기 위해 보정(correction) 단계를 수행합니다.

MLS-MPM 동역학 모델의 경우, 연체(soft-body)의 자체 충돌은 운동량 전달을 통해 자동으로 처리됩니다. 연체와 강체 장애물 간의 충돌은 경계 조건(boundary conditions)으로 처리되며, 이는 상보성 조건과 유사하게 속도를 투영(projection)하는 방식으로 강제됩니다.

이 섹션에서는 시뮬레이션의 시간 진행을 위한 적분 방법으로 명시적(Explicit) 방법과 암시적(Implicit) 방법을 비교합니다. 명시적 방법은 구현과 미분이 쉽지만 작은 시간 간격이 필요해 메모리 부담이 큰 반면, 암시적 방법은 안정적이고 큰 시간 간격이 가능하지만 비선형 방정식을 풀어야 하는 계산적 복잡함이 있습니다.

적분 방식(Integration scheme)은 계산된 힘을 사용하여 동적 모델을 시간 순서대로 진행시키는 데 필요합니다. 이 섹션에서 $q_k, \dot{q}_k, \ddot{q}_k \in \mathbb{R}^n$은 각각 $k$번째 시간 단계에서의 위치, 속도, 가속도 상태 벡터를 나타내며, $\Delta t \in \mathbb{R}^+$는 각 반복 사이의 시간 간격을 의미합니다.

적분 방식의 두 가지 주요 범주는 명시적(Explicit) 적분과 암시적(Implicit) 적분입니다. 명시적 적분은 실제 구현이 더 쉽지만, 암시적 적분 방식에 비해 수치적으로 덜 안정적이라는 것이 잘 알려져 있습니다. 예를 들어, Du/2021/DiffPD의 실험에 따르면 암시적 적분은 최대 10ms의 시간 간격에서도 안정적인 반면, 명시적 적분은 0.5ms까지만 안정적이었습니다. 이로 인해 명시적 방식은 더 많은 시간 단계를 시뮬레이션해야 하므로 메모리 오버헤드가 더 크며, 이를 줄이기 위해 체크포인팅(checkpointing) 같은 기법이 필요합니다. 명시적 적분 방식은 연쇄 법칙(chain rule)을 통해 미분을 구하기가 비교적 간단하지만, 비선형 방정식 시스템을 풀어야 하는 암시적 적분 방식은 그레디언트를 추출하기 위해 더 복잡한 기술이 필요합니다.

가장 간단한 적분기인 명시적(전진) 오일러 적분은 작은 시간 간격을 취하고 현재 속도를 위치에, 현재 가속도를 속도에 적용하여 객체의 상태를 업데이트합니다.

이 방법은 그레디언트 전파가 쉽다는 장점이 있지만, 조건부 안정성(conditionally stable)을 가지므로 임계 시간 간격 $t_{crit}$보다 큰 $\Delta t$를 사용하면 시뮬레이션이 불안정해질 수 있습니다. 이를 개선하기 위해 RK4 같은 고차 명시적 기법이 사용되기도 합니다.

다른 연구들은 반암시적(Semi-implicit) 오일러 적분(또는 심플렉틱 적분)을 사용합니다.

이러한 명시적 방법들의 공통적인 문제는 시간 역전파를 위해 모든 시간 단계의 정보를 메모리에 저장해야 한다는 점입니다. 시뮬레이션 길이가 길어지면 비용이 매우 커지므로, 체크포인팅 방법이 제안되었습니다. 이는 순전파(forward pass) 동안 $n$ 단계마다 상태를 저장하고, 역전파 시 가장 가까운 체크포인트에서 시뮬레이션을 다시 실행하여 필요한 정보를 복구하는 방식입니다.

암시적 적분은 stiff한 미분 방정식과 제약 조건을 명시적 방법보다 효과적으로 처리하도록 설계되었으며, 따라서 훨씬 더 큰 시간 간격을 사용할 수 있습니다. 암시적(후진) 오일러 적분은 다음 시간 단계의 기울기를 사용하여 다음 상태를 계산합니다.

명시적 오일러와 달리, 암시적 오일러 단계는 다음 시간 단계의 상태를 찾기 위해 풀어야 하는 (비선형일 수 있는) 방정식 세트를 나타냅니다. 이를 풀기 위해 뉴턴의 방법(Newton's method)과 같은 반복적 방법을 사용하는 것이 표준입니다. 대안으로, Du/2021/DiffPD 등에서는 Projective Dynamics를 사용하여 비선형 방정식 세트를 에너지 최소화 문제로 표현합니다. 이는 특정 가정 하에 교대 최적화 알고리즘으로 풀 수 있으며, 행렬의 촐레스키 분해를 미리 계산해 둘 수 있어 계산 비용 면에서 유리합니다.

이 섹션은 연구에 활용 가능한 오픈소스 미분 가능 시뮬레이터들을 소개하는 실용적인 가이드입니다. 특히 NVIDIA Warp는 Python 기반의 고성능 프레임워크로, 강체와 연체 시뮬레이션을 모두 지원하며 JIT 컴파일을 통해 효율적인 연산을 제공한다는 점이 강조됩니다.

이 섹션은 미분 가능 시뮬레이션 엔진에 대한 실용적인 가이드를 목표로 합니다. 미분 가능 시뮬레이터에 관한 문헌 전반에 걸쳐, 본 리뷰의 범위에 포함된 다른 연구들에서 채택된 8개의 미분 가능 시뮬레이터가 식별되었습니다. Table 2는 이 8개의 엔진과 3개의 추가적인 미분 가능 물리 엔진의 주요 기능을 요약합니다. 후자의 3개는 최근에 제안되어 아직 널리 채택되지는 않았지만, 실용적인 응용 분야에서 유망함을 보여줍니다. 대부분의 시뮬레이터 코드베이스는 강체(rigid body) 시뮬레이션에 중점을 두고 있지만, 일부는 연체(soft body) 시뮬레이션과 유체(fluid) 시뮬레이션도 지원합니다.

NVIDIA Warp는 고성능 시뮬레이션 및 그래픽 코드를 위해 설계된 Python 프레임워크로, Python 함수의 JIT(Just-In-Time) 컴파일 기능을 통해 효율적인 CPU 및 GPU 실행을 지원하는 것이 특징입니다.

Warp는 강체 및 연체 시뮬레이션을 모두 허용하며, 반암시적(semi-implicit) 적분기와 XPBD 두 가지 유형의 적분기를 지원합니다. 관절(joint)을 수동으로 추가하거나 URDF, MJCF, USD 파일을 가져와서 임포트할 수 있습니다. 이 엔진은 미분 불가능한 렌더링과 모델 시각화를 위한 기본적인 미분 가능 레이캐스팅(raycasting)을 지원하며, 최대 좌표계(maximal coordinate system)에 기반합니다. Warp는 점(points), 인덱스(indices), 속도(velocities)를 제공하여 API를 통해 생성할 수 있는 삼각형 기반 메쉬를 지원합니다. Warp의 기본 기능 대부분은 Warp로 정제되기 전, gradSim과 같은 다른 Nvidia 미분 가능 시뮬레이션 엔진에서 특징적으로 사용되었습니다.

NVIDIA Warp는 Python 함수를 JIT 컴파일하여 CPU와 GPU에서 고성능 시뮬레이션을 수행하는 프레임워크입니다. 강체 및 연체 시뮬레이션을 모두 지원하며, 최대 좌표계(maximal coordinate system)를 기반으로 URDF, USD 등 다양한 포맷을 처리할 수 있습니다.

NVIDIA Warp는 고성능 시뮬레이션과 그래픽 코드를 위해 설계된 Python 프레임워크로, 효율적인 CPU 및 GPU 실행을 위한 Python 함수의 JIT(Just-In-Time) 컴파일 기능을 특징으로 합니다.

Warp는 연체 및 강체 시뮬레이션을 모두 허용하며, 반암시적(semi-implicit) 적분기와 XPBD라는 두 가지 유형의 적분기를 지원합니다. 관절을 수동으로 추가하거나 URDF, MJCF, USD 파일을 가져오는 방식으로 모델을 로드할 수 있습니다. 모델 시각화를 위해 미분 불가능한 렌더링과 기본적인 미분 가능한 레이캐스팅(raycasting)을 지원하며, 최대 좌표계(maximal coordinate system)를 기반으로 합니다. Warp는 삼각형 기반 메쉬를 지원하며, 이는 API를 통해 점, 인덱스, 속도를 제공하여 생성할 수 있습니다. Warp의 기본 기능 대부분은 Warp로 정제되기 전, gradSim과 같은 다른 NVIDIA 미분 시뮬레이션 엔진에서 이미 다루어졌던 것들입니다.

TDS는 외부 의존성이 없는 가벼운 C++/CUDA 기반 강체 시뮬레이터로, 단일 GPU에서 수천 개의 병렬 시뮬레이션이 가능하다는 장점이 있으나 변형 물체 미지원 및 문서화 부족이라는 단점이 있습니다.

Tiny Differentiable Simulator (TDS)는 C++ 및 CUDA 기반의 물리 라이브러리로, 단순함과 외부 의존성이 없다는 점이 특징입니다. TDS는 강체 역학(rigid-body dynamics)과 접촉 처리에 집중하므로, 변형 물체(deformable objects)는 지원하지 않습니다.

이 시뮬레이터의 한계점은 구(sphere), 평면(plane), 캡슐(capsule) 같은 기본적인 충돌 형상(primitive collision shapes)만 지원한다는 것입니다. 반면 TDS의 핵심 장점은 단일 GPU에서 수천 개의 시뮬레이션을 병렬로 실행할 수 있다는 능력입니다. TDS는 API를 설명하는 상세한 문서가 없지만, 다행히 포괄적인 예제 코드를 다수 제공하고 있습니다.

Nimble은 DART 엔진을 기반으로 하여 해석적 기울기와 PyTorch를 지원하는 빠른 물리 엔진이지만, 단일 스레드 실행만 가능하여 병렬 시뮬레이션을 지원하지 않는다는 한계가 있습니다.

Nimble은 인기 있는 DART 물리 엔진의 포크(fork)에서 시작되어, 해석적 기울기(analytical gradients)와 PyTorch 바인딩을 갖춘 빠르고 완전히 미분 가능한 물리 엔진으로 발전했습니다.

Nimble은 시뮬레이션 장면의 미분 불가능한 브라우저 기반 렌더링을 지원합니다. 그러나 Nimble은 단일 스레드 실행을 위해 설계되었으며, 병렬 환경을 지원하지 않는다는 한계가 있습니다.

이 섹션에서는 DiffTaichi와 Brax를 포함한 주요 오픈소스 미분 가능 시뮬레이터들의 특징을 소개하고, 11개 엔진의 기능(객체 유형, 통합 환경, 파일 지원 등)을 비교한 표(Table 2)를 제시합니다.

DiffTaichi는 Taichi 미분 가능 프로그래밍 프레임워크를 사용하여 구현되었으며, 강체 및 연체 시뮬레이션을 모두 지원합니다. DiffTaichi에는 기능을 보여주는 몇 가지 독립적인 환경이 존재하지만, 이 섹션의 다른 시뮬레이터들과 달리 범용 물리 엔진을 의도한 것은 아닙니다. 오히려 소스 코드 변환(Source Code Transformation)을 통해 동적 시스템의 기울기(Gradient)를 효과적이고 효율적으로 계산하는 방법을 제공하는 것을 목표로 합니다. 따라서 DiffTaichi는 URDF, MJCF, USD와 같은 일반적인 파일 형식을 지원하지 않으며, 키네마틱 체인(Kinematic Chains)은 API를 통해 프로그래밍 방식으로 입력해야 합니다.

Table 2는 11개의 오픈 소스 미분 가능 시뮬레이터를 보여줍니다. 이 중 8개는 본 리뷰에서 검토된 문헌에서 사용되었으며, 나머지 3개(굵은 선 아래)는 최근에 도입되어 아직 널리 채택되지 않았습니다. 이 표는 연구자들이 미분 가능 시뮬레이터를 선택할 때 고려할 수 있는 사용자 기능에 중점을 둔 Table 1의 하위 집합입니다. 모든 엔진은 Python 바인딩을 제공하며 GPU 리소스에서 실행할 수 있습니다. 지원되는 객체 유형은 강체(Rigid), 천을 포함한 변형체(Deformable), 그리고 유체(Fluids)의 세 가지입니다.

Brax는 JAX를 기반으로 하며, 병렬 시뮬레이션을 통한 확장성을 제공합니다. Brax는 여러 백엔드 물리 파이프라인을 지원하며, MJCF 및 URDF 파일 로딩과 프로그래밍 방식의 객체 모델 생성을 모두 지원합니다. 또한 Brax는 미분 불가능한 브라우저 렌더링 시스템도 지원합니다.

JAX 기반의 Brax는 대규모 병렬 시뮬레이션을 지원하며, 표준 로봇 파일 포맷(MJCF, URDF)을 사용할 수 있지만 렌더링은 미분 불가능합니다.

JAX를 기반으로 하는 Brax는 병렬 시뮬레이션을 통한 확장성을 제공합니다. Brax는 여러 백엔드 물리 파이프라인을 지원하며, MJCF와 URDF 파일 로딩뿐만 아니라 프로그래밍 방식으로 객체 모델을 생성하는 것도 지원합니다. Brax는 미분 불가능한 브라우저 렌더링 시스템을 지원합니다.

Dojo는 로봇 공학에 특화된 엔진으로 변분 적분기를 사용하여 안정성을 확보했으나, 메쉬 충돌을 지원하지 않고 현재 유지보수가 중단된 상태입니다.

Dojo는 로봇 공학에 특화된 미분 가능한 물리 엔진입니다. 이 엔진은 안정성과 큰 타임스텝(large timesteps) 처리를 돕기 위해 변분 적분기(variational integrator)를 사용합니다.

Dojo는 메쉬(mesh) 기반 충돌을 지원하지 않으며, 오직 기본 도형(primitive shapes) 간의 충돌만 허용한다는 한계가 있습니다. 현재 더 이상 활발히 유지보수되지 않고 있지만, 관련 연구 문헌에서는 여전히 이 엔진이 지속적으로 채택되고 있음을 확인할 수 있습니다.

아직 널리 채택되지는 않았지만 주목할 만한 최신 미분 가능 시뮬레이터인 DaXBench(변형 물체), FluidLab(유체 조작), JAX-Fluids(전산 유체 역학)를 소개합니다.

최근 몇 가지 미분 가능한 시뮬레이터가 제안되었으며, 아직 다른 연구에서 채택되지는 않았지만 주목할 가치가 있습니다. DaXBench가 그중 하나입니다. DaXBench는 유체, 밧줄, 천과 같은 다양한 변형 가능한 물체(deformable objects)를 지원합니다. daX는 JAX를 사용하며 OpenAI Gym과 매끄럽게 통합됩니다. DaXBench는 미분 가능한 시뮬레이션을 이용한 변형 물체 조작의 새로운 접근법을 개발하고 표준화된 테스트를 위한 도구로 활용되는 것을 목표로 합니다.

FluidLab은 또 다른 미분 가능한 시뮬레이터로, 유체 조작 작업에 특화되어 있지만 강체 및 변형 물체 조작도 지원합니다. 이 미분 가능한 시뮬레이터는 FluidEngine이라고 불리며 Taichi 미분 프로그래밍 패러다임을 사용하여 구축되었습니다. FluidLab은 에이전트가 목표를 달성하기 위해 특정 유형의 유체와 상호 작용해야 하는 10가지의 고유한 조작 작업에 중점을 둡니다.

JAX-Fluids는 마지막으로 주목할 만한 시뮬레이터입니다. JAX-Fluids는 JAX로 작성되었으며 전산 유체 역학(CFD)을 위해 설계되었습니다. 이 시뮬레이터는 최신 수치 해석 방법을 통합하고 있으며 기계 학습 워크플로우 내에 CFD를 통합할 수 있도록 의도되었습니다. JAX-Fluids는 3차원 난류, 압축성 효과, 2상 유동(two-phase flows)을 포함한 복잡한 유체 역학 시나리오를 처리하는 것을 목표로 합니다. 시뮬레이터 설정은 JSON 형식에 의존하지만, 시뮬레이터 내에서 객체를 로드하는 것은 현재 지원되지 않습니다. 또한 이 시뮬레이터는 현재 병렬 시뮬레이션을 지원하지 않지만, 저자들은 가까운 시일 내에 이 기능을 지원할 계획이라고 밝혔습니다.

이 섹션은 미분 가능한 시뮬레이터의 5가지 주요 응용 분야(시스템 식별, 궤적 최적화, 형태 최적화, 정책 최적화, 신경망 증강 시뮬레이션)를 소개하며, 이들 모두 경사 기반 최적화 문제를 해결하는 데 기반을 두고 있음을 설명합니다.

문헌에서 미분 가능한 시뮬레이터는 다양한 문제에 대한 해결책으로 적용되어 왔습니다. 이러한 응용 사례들은 근본적으로 최적화 문제(optimization problem)를 해결하는 것을 포함하며, 이는 주로 경사 기반 최적화 알고리즘을 사용하여 해결됩니다. 이러한 최적화 알고리즘에 대한 개요는 관련 문헌을 참고하기 바랍니다.

우리는 다음 다섯 가지 주요 응용 분야를 검토합니다.

1) 시스템 식별(System Identification): 미분 가능한 시뮬레이터를 활용해 복잡한 시스템을 모델링하며, 효율적인 파라미터 튜닝 및 시스템 특성 분석을 가능하게 합니다.

2) 궤적 최적화(Trajectory Optimization): 미분 가능성을 이용하여 시뮬레이션 환경 내 객체나 개체의 경로를 개선하고 최적화하여 제어 능력을 향상시킵니다.

3) 형태 최적화(Morphological Optimization): 미분 가능한 시뮬레이터를 사용하여 개체의 물리적 구조나 형태를 진화시키고 최적화합니다. 일반적으로 형태 최적화는 형태와 제어의 동시 최적화(co-optimization)로 수행됩니다.

4) 정책 최적화(Policy Optimization): 미분 가능한 시뮬레이터를 사용하여 특히 강화 학습 프레임워크 내에서 정책을 훈련하고 최적화하며, 견고하고 적응력 있는 의사결정 전략 개발을 촉진합니다.

5) 신경망 증강 시뮬레이션(Neural Network Augmented Simulation): 시뮬레이터 내에 신경망을 통합하여 시뮬레이션을 현실 세계에 더 가깝게 정렬시킵니다.

위에 나열된 미분 가능한 시뮬레이터의 응용 분야는 문헌에서 통상적으로 구분하는 기준에 따라 분류되었습니다. 미분 가능한 시뮬레이터의 사용 사례를 조사한 모든 논문은 이 다섯 가지 응용 분야 중 하나로 분류될 수 있습니다. 각 응용 분야의 연구 수와 중복되는 부분은 Fig. 5에 요약되어 있습니다.

이 섹션은 미분 가능한 시뮬레이터를 사용하여 관측된 데이터와 시뮬레이션 결과의 오차를 최소화함으로써 질량, 마찰력 등 물리 시스템의 미지 파라미터를 추정하는 '시스템 식별'에 대해 다룹니다. 이는 기존 블랙박스 방식보다 수렴 속도가 빠르지만, 잘못된 파라미터로도 유사한 궤적을 생성할 수 있는 '파라미터 관측 가능성(parameter observability)' 문제를 해결해야 합니다.

시스템 식별(System Identification)은 시스템의 관측 결과를 바탕으로 미지의 파라미터를 추정하여 물리 시스템의 정확한 수학적 모델을 구축하는 것을 목표로 합니다. 모델 파라미터 $\theta \in \mathbb{R}^p$를 추정하기 위해, 대부분의 연구는 관측된 상태 궤적 $q_1, \dots, q_N$과 모델 파라미터 $\theta$가 주어졌을 때 물리 시뮬레이터가 추정한 상태 궤적 $\hat{q}_1(\theta), \dots, \hat{q}_N(\theta)$ 사이의 평균 제곱 오차(Mean Squared Error)를 최소화합니다.

시스템 식별은 충돌하는 물체나 초기 충격량이 주어진 물체의 관성 특성(질량 및 관성 모멘트)을 추정하는 데 사용되었습니다. 유사하게 진자 시스템의 관성 및 운동학적 특성(예: 길이)도 추정된 바 있습니다. 다른 연구들은 천, 튀어 오르는 물체, 로프, 또는 구동되는 소프트 로봇의 강성 및 탄성 특성(예: 영률, 푸아송 비)을 추정합니다. 또 다른 일반적인 응용 분야로는 로봇이나 표면 위를 미끄러지는 물체의 마찰 계수 추정, 그리고 로봇이나 사람의 기록된 궤적을 식별하는 것 등이 있습니다. 일부 연구에서는 미분 가능한 시뮬레이터를 사용하여 칼과 그것이 자르는 부드러운 물체의 물성, 그리고 가해지는 절삭력을 추정할 수 있음을 보여주었습니다. 스캔된 포인트 클라우드로부터 초기에 획득한 가정용 물체의 URDF 모델을, 로봇 에이전트가 물체와 상호작용하며 관측한 궤적을 사용하여 미분 가능한 시뮬레이션으로 반복적으로 개선하기도 합니다. 일부 연구는 미분 가능한 렌더링(Differentiable Rendering) 기술을 사용하여 시스템 식별을 수행하는데, 이때 손실 함수(Eq. 19a)는 실제 시스템의 녹화된 비디오와 미분 가능한 시뮬레이터에서 렌더링된 비디오 간의 픽셀별 평균 제곱 오차로 정의됩니다.

블랙박스(Black-box) 또는 기울기가 없는(Gradient-free) 방법과 비교할 때, 미분 가능한 시뮬레이션을 사용한 시스템 식별은 더 적은 계산 시간으로 더 낮은 비용의 솔루션에 수렴하는 것으로 나타났습니다. Gong 등은 미분 가능한 시뮬레이터를 사용하면 천의 미세한 움직임만 포함된 적은 양의 기록된 타임스텝만으로도 천의 파라미터를 정확하게 식별할 수 있음을 보여주었습니다. 이는 동일한 제한된 데이터 세트를 사용하여 천 파라미터를 정확하게 추정하지 못한 다른 접근 방식들과 대조됩니다. 그러나 최적화 문제(Eq. 19)의 공식화 특성상, 실제 값(Ground Truth)과 상당히 다른 파라미터를 얻더라도 여전히 유사한 예측 궤적을 산출할 가능성이 있다는 점이 지적되었습니다. 이 문제는 파라미터 관측 가능성(Parameter Observability)이라고 불립니다. 저자들은 동시에 추정되는 파라미터가 많을수록 이 문제가 더 커지며, 더 복잡한 궤적(예: 파라미터를 알고 있는 물체와의 충돌)의 데이터를 사용하면 시스템의 특정 파라미터를 노출시켜 이 문제를 우회하는 데 도움이 될 수 있음을 보여줍니다.

시스템 식별의 주된 용도 중 하나는 추정된 파라미터를 제어 작업(Control Tasks)에 사용하는 것입니다. 즉, 궤적 최적화, 정책 최적화 또는 더 고전적인 제어 방법과 함께 사용하는 것입니다. 이러한 제어 맥락에서 시스템 식별은 온라인(Online) 방식으로 수행되기도 하는데, 에이전트가 작업을 수행하도록 제어되는 동시에 지속적으로 측정된 궤적 데이터에 대해 시스템 식별을 수행합니다. 이는 동적으로 변화하는 환경에 유리하며, 추정된 파라미터의 정확도를 지속적으로 개선하거나, 사전에 오프라인 데이터를 수집할 필요를 없애주는 것으로 나타났습니다. 부정확하거나 불안정한 파라미터 추정을 초래할 수 있는 노이즈가 많고 오래된 관측치를 처리하기 위해 궤적 버퍼 시스템이 사용되기도 했습니다.

이 섹션은 미분 가능한 시뮬레이터를 활용하여 제어 입력($u$)을 최적화하는 궤적 최적화(Trajectory Optimization) 기법을 다룹니다. 이는 강화학습(RL)이나 미분 불가능한 최적화 방법보다 효율적이지만 긴 시간 범위(Long Horizon)에서는 한계가 있을 수 있음을 설명합니다.

궤적 최적화(Trajectory Optimization)는 동적 시스템을 위한 최적의 상태 및 제어 입력 시퀀스를 결정하는 것을 목표로 합니다. 목표는 일반적으로 단계별 손실 함수 $L(u_i, \hat{q}_i)$와 최종 비용 $L_{terminal}(u_N, x_N)$으로 구성된 미리 정의된 비용 함수를 최소화하는 것입니다. 여기서 $u \in \mathbb{R}^m$은 제어 파라미터를 나타내며, $\hat{q}_1(u), \dots, \hat{q}_N(u) \in \mathbb{R}^n$은 제어 파라미터 $u$가 주어졌을 때 물리 시뮬레이터가 추정한 상태 궤적을 의미합니다.

이 정의는 시스템 식별(System Identification) 문제와 매우 유사하지만, 모델 파라미터가 알려져 있다는 가정하에 제어 신호(control signal)를 최적화하는 데 초점을 맞춘다는 점이 다릅니다. 궤적 최적화는 종종 시스템 식별이나 형태 최적화(Morphology Optimization)와 결합되어 사용됩니다. 예를 들어, 제어기가 큰 전진 속도를 낼 수 있을 때까지 실제 데이터에 맞춰 궤적과 모델을 반복적으로 동시에 업데이트하는 연구도 있습니다.

일반적인 궤적 최적화 작업에는 시뮬레이션된 물체를 특정 방향으로 이동시키면서 속도를 최대화하거나 일정하게 유지하는 것이 포함됩니다. 이는 연체(soft bodies), 강체(rigid-bodies), 텐세그리티 로봇 등 다양한 형태에 적용됩니다. 단순 이동 외에도 점프, 4족 보행 로봇의 다리 들어 올리기, 던지기 등의 동역학이 연구되었습니다.

또한 직물(fabric) 조작과 관련된 작업도 있습니다. 예를 들어 천의 모서리에 힘을 가해 바구니에 넣거나, 양말과 모자를 씌우는 옷 입히기 작업 등이 있습니다. 근육 구동 팔을 이용한 도달(reaching), 특정 경로에 대한 궤적 최적화, 물체 밀기, 공 치기, 물체 잡기(grasping) 등 다양한 조작 작업이 탐구되었습니다. 더 나아가 반죽을 펴거나 밀대로 미는 것과 같은 도구를 이용한 연체 조작 작업이나, 플라스티신(고무찰흙) 재료를 변형시키는 벤치마크도 제시되었습니다.

여러 연구에서 미분 가능한 물리 엔진을 사용하여 개루프(open-loop) 제어 시퀀스를 최적화하는 기반 최적화(Gradient-based methods) 방법이 강화학습(RL) 기반 접근법보다 벤치마크 작업을 더 효율적으로 해결함을 입증했습니다. 특히 PPO와 같은 RL 알고리즘이나 CMA-ES와 같은 미분 불가능한 최적화(Derivative-free optimization) 기법과 비교했을 때, 궤적 최적화는 더 빠른 솔루션 도출과 우수한 결과를 보여주었습니다.

하지만 긴 시간 범위(Longer time horizons)를 가진 시나리오에서는 RL이 궤적 최적화보다 우수한 성능을 보일 수 있습니다. 궤적 최적화는 실시간 반응형 정책을 생성하는 RL에 비해 계산 시간이 더 많이 소요되지만, 최적화된 궤적을 바탕으로 모방 학습(Imitation Learning)을 결합하여 속도를 높이는 전략이 사용될 수 있습니다. 이를 통해 궤적 최적화의 특성을 모방하면서도 실시간 솔루션을 제공하는 것이 가능합니다.

이 섹션은 미분 가능한 시뮬레이터를 사용하여 로봇의 물리적 구조(형태)와 제어 정책을 동시에 최적화하는 'Co-design' 방법을 설명합니다. 이는 기존 진화 알고리즘보다 수렴 속도가 빠르지만 국소 최적해(local minima) 문제가 있으며, 이를 해결하기 위해 케이지 기반 파라미터화(Cage-based parametrization) 같은 기법이 사용됩니다.

형태 최적화(Morphology Optimization)는 물리적 및 기하학적 제약 조건 하에서 미리 정의된 목표를 최적화하는 시스템의 재료 및 기하학적 속성 집합을 찾는 것을 목표로 합니다. 형태 최적화는 고정된 궤적에 대해 시스템의 최적 형태 파라미터를 식별하거나, 제어 파라미터와 함께 최적화하여 공동 최적화된(co-optimized) 궤적을 생성할 수 있다는 점에서 시스템 식별 및 궤적 최적화와 유사점이 있습니다. 형태 파라미터 $\omega \in \mathbb{R}^p$($p$는 파라미터 수)는 에이전트의 형태를 정의하는 모양, 크기, 재료 속성, 관절 구성 및 기타 구조적 특징을 포함합니다.

형태 최적화의 일반적인 응용 분야는 공동 설계(co-design) 작업입니다. 이는 로봇 시스템의 구조적 설계를 최적화함과 동시에 시스템을 원하는 목표 상태로 구동하는 제어 정책의 비용을 최소화하는 것으로 정식화됩니다. 일반적으로 제어 파라미터 $u$와 형태 파라미터 $\omega$, 그리고 이 두 파라미터가 주어졌을 때 물리 시뮬레이터가 추정한 상태 궤적 $\hat{q}$에 대해 단계별 손실 함수 $L$과 종단 비용 $L_{terminal}$을 최소화합니다.

미분 가능한 시뮬레이션은 문제 해결 시 기울기(gradient) 정보를 사용할 수 있게 함으로써, 이러한 문제에서 일반적으로 발생하는 차원의 저주(curse of dimensionality)를 극복할 수 있는 수단을 제공합니다. 어려운 문제 공간을 다루기 쉽게 만들기 때문에, 미분 가능한 공동 설계(differential co-design)는 소프트 로봇의 형태와 제어를 최적화하는 데 인기 있는 방법론입니다.

대표적인 작업으로는 목표 자세를 달성하기 위해 구동 에너지를 최소화하면서 변형 가능한 로봇 전체의 재료 강성(Young's modulus) 최적 분포를 찾는 작업이나, 접촉이 많은 물체 조작 작업에서 성능을 높이기 위해 로봇 엔드 이펙터 및 맞춤형 도구의 설계를 최적화하는 작업이 있습니다(Fig. 8 참조). 다른 연구들은 시뮬레이션된 측량 작업에서 고도로 역동적인 동작을 수행하기 위해 자율 수중 및 항공기의 설계를 최적화하는 데 있어 기울기 기반 방법과 그래프 탐색의 결합을 탐구했습니다. 또한, 형태에 대한 시뮬레이션 기울기를 사용하여 물리적으로 더 안정적인 모양을 생성하는 신경망을 훈련시키기도 했습니다.

수많은 연구에서 공동 설계 작업에 미분 가능한 시뮬레이터를 사용하는 것이 진화 알고리즘이나 강화 학습(RL) 방법에 비해 더 빠른 수렴과 더 나은 제약 조건 만족을 산출한다는 것을 발견했습니다. 그러나 훈련에 사용되지 않은 다른 작업으로의 일반화 문제와 단순한 형태 설계 공간에서도 존재하는 국소 최적해(local minima) 문제는 단점으로 지적됩니다.

기울기 기반 형태 최적화의 효율성을 높이는 기존 방법 중 하나는 파라미터화 모델을 변경하는 것입니다. 케이지 기반 파라미터화(Cage-based parametrization)는 컴퓨터 그래픽스 기술로, 거친 폐쇄형 케이지(cage)의 정점을 사용하여 내부 공간의 변형을 제어합니다(Fig. 8 참조). 이 방법은 메시(mesh) 기반 대응 방법에 비해 훨씬 낮은 차원의 최적화 공간을 생성하며, 기울기 기반 방법이 메시 기반 파라미터화보다 더 효율적으로 부드러운 형태를 생성하고 비슷한 작업 성능을 낼 수 있게 합니다.

미분 가능한 시뮬레이터는 머신러닝 최적화에 필수적이지만, 복잡한 물리 시스템에서는 비선형성, 불연속성, 그리고 경험적 편향(empirical bias)과 같은 그래디언트 추정의 한계가 존재함을 논의합니다.

미분 가능한 시뮬레이터에 대한 관심이 증가하는 주된 이유는 최적화를 위해 그래디언트(기울기)에 크게 의존하는 현재의 머신러닝 패러다임 때문입니다. 효율적인 그래디언트 계산 기술의 확산과 그래디언트 기반 최적화 알고리즘에 대한 이해도가 높아지면서 이러한 추세는 더욱 가속화되었습니다. 섹션 3에서 자세히 설명한 바와 같이, 현재 강력한 미분 가능한 시뮬레이터들이 다수 존재하며, 이는 물리 시뮬레이터의 기능을 탐구하려는 입문자나 기존 워크플로우에 통합하려는 연구자들에게 귀중한 자원이 되고 있습니다.

섹션 4에서 살펴본 바와 같이, 미분 가능한 시뮬레이터의 응용 분야는 동작(actions), 동역학(dynamics), 형태(morphologies)와 같은 시뮬레이션 파라미터의 최적화뿐만 아니라 더 광범위한 미분 가능한 워크플로우로의 통합을 포함하여 매우 다양합니다. 그러나 이러한 시뮬레이터의 잠재력을 완전히 실현하는 과정에는 몇 가지 주목할 만한 과제가 남아 있습니다. Suh et al.은 현재의 미분 가능한 시뮬레이터가 가진 몇 가지 결정적인 한계를 조명합니다. 복잡한 물리 시스템, 특히 장기적인 계획(long-horizon planning) 및 제어를 포함하는 경우, 비선형성(non-linearity), 비매끄러움(non-smoothness), 불연속성(discontinuities)과 같은 최적화 지형(landscape)의 특성으로 인해 성능이 저해될 수 있습니다. 이러한 복잡성은 그래디언트 추정 및 최적화에 있어 미묘하고 정교한 접근 방식이 필요함을 시사합니다.

게다가, 이러한 시뮬레이터에서 얻은 결정론적(deterministic) 그래디언트를 사용하는 것은 내재된 지형 특성 때문에 차선(sub-optimal)의 결과로 이어질 수 있습니다. 불연속적인 동역학을 근사하는 과정에서 그래디언트 추정의 부정확성을 초래하는 경험적 편향(empirical bias) 현상은 또 다른 중요한 과제입니다. 또한, 특히 지속적인 강성(stiffness)이나 혼돈(chaotic) 동역학이 있는 시나리오에서는 그래디언트 추정의 높은 분산(high variance)이 문제가 될 수 있습니다.

이러한 복잡성은 미분 가능한 시뮬레이터를 개발할 때 신중한 설계와 알고리즘적 고려가 필요함을 강조할 뿐만 아니라, 이 발전하는 분야에서 지속적인 연구와 개선이 중요함을 역설합니다.

이 섹션은 미분 가능한 시뮬레이터의 향후 연구 방향을 7가지로 정리합니다. 특히 접촉 모델 개선을 통한 그래디언트 정확도 향상, 전역 탐색과의 결합, 장기 호라이즌 문제 해결, 센서 시뮬레이션 통합, 그리고 실시간 응용 등이 주요 발전 분야로 제시됩니다.

앞으로 미분 가능한 시뮬레이터(Differentiable Simulators)의 발전 경로는 몇 가지 유망한 연구 및 개발 분야를 포함합니다. 이 중 일부는 응용 분야에 의해 주도되는 반면, 다른 일부는 시뮬레이션의 정확도를 높이면서 의미 있는 그래디언트(gradient)의 가용성을 향상시키기 위한 추가 연구를 필요로 합니다.

우리는 다음의 연구 방향들이 미분 가능한 시뮬레이터의 성장과 지속적인 발전을 위한 핵심 분야가 될 것으로 봅니다.

접촉 모델(Contact models)은 미분 가능한 시뮬레이터의 핵심 구성 요소이지만, 기존 구현체들은 구현과 미분의 용이성을 위해 유연 모델(compliant models)이나 최적화 기반 모델을 통해 실제 접촉 역학을 단순화하여 근사하는 방식에 의존하고 있습니다. 현재로서는 이러한 단순화가 생성된 그래디언트의 품질과 시뮬레이션된 동작이 실제 세계로 얼마나 잘 전이되는지 등 미분 가능한 시뮬레이션 성능에 어떤 영향을 미치는지 불분명합니다. 이는 더 나은 접촉 모델을 제안함으로써 사용 가능한 그래디언트를 개선하는 연구의 필요성을 시사합니다. 더 정확하거나 유용한 그래디언트를 얻기 위한 잠재적인 대안으로는 0차(zeroth-order)와 1차(first-order) 그래디언트 간의 보간이나, 특정 지점 주변의 확률 분포에 대해 섭동(perturbed)되거나 평균화된 그래디언트를 사용하는 방법 등이 있습니다.

사용 가능한 그래디언트를 효과적으로 활용하는 것도 또 다른 탐구 분야입니다. 현재 미분 가능한 시뮬레이터와 그 그래디언트의 한계로 인해, 국소적인 그래디언트 기반 최적화를 베이지안 최적화나 진화 알고리즘과 같은 전역 탐색 전략(global search strategies)과 결합하는 방법이 비볼록(nonconvex) 최적화 문제의 고성능 해를 찾는 유망한 경로입니다. 그 예로, 매개변수화된 정책을 찾기 위해 세 단계의 최적화를 사용하는 연구가 있습니다. 유사하게, 국소 탐색(예: 경사 하강법)과 무작위 섭동을 결합하여 국소 최적해(local minima)를 탈출하는 베이슨 호핑(basin-hopping)을 활용하는 연구도 있습니다. 정책 최적화(Policy optimization)는 상대적으로 연구가 덜 된 응용 분야이며, 미분 가능한 시뮬레이터를 이용한 궤적 최적화가 실시간보다 느리다는 점 때문에 향후 중요한 연구 분야로 남을 것입니다. 시뮬레이터에서 얻은 그래디언트를 활용하여 신경망으로 매개변수화된 고성능 정책을 찾는 능력은, 온라인 반응형 정책 개발을 가능하게 하므로 미래에 점점 더 중요해질 것입니다. 마지막으로, 그래디언트 정보를 더 잘 활용하고 계산 효율성을 높이기 위해 다른 손실 함수나 새로운 매개변수화 방법을 탐구하는 것도 가치 있는 방향입니다.

장기 호라이즌에 대한 최적화는 강화 학습, 로봇 모션 계획, 순환 신경망(RNN) 등 다양한 연구 분야에서 열려 있는 문제입니다. 미분 가능한 시뮬레이터는 그래디언트 소실(vanishing) 및 폭주(exploding)와 같은 공통적인 문제를 공유하지만, 고유한 문제들도 가지고 있습니다. 예를 들어, 긴 시뮬레이션에 대해 그래디언트를 계산할 때 메모리와 계산 비용이 크게 증가한다는 점입니다. 관련된 메모리 비용을 지원하기 위해 체크포인팅(checkpointing) 기법이 제안되었습니다. 또한, 미분 가능한 시뮬레이터의 그래디언트는 국소적인 정보만 제공하므로, 장기 궤적 최적화가 국소 최적해(local optima)에 빠지는 원인이 되기도 합니다. DiffSkill은 중간 목표와 기술 추상화를 사용하여 장기 호라이즌 문제를 분해함으로써 이를 극복합니다. 장기 호라이즌 최적화 문제의 일부 측면은 분야 간에 공유되지만, 우리는 일부 측면이 미분 가능한 시뮬레이터 사용자에게 고유할 것이라고 주장합니다. 따라서 시뮬레이션된 작업의 복잡성과 지속 시간이 계속 증가함에 따라 이 연구 방향이 미래에 중요해질 것으로 예상합니다.

미분 가능한 시뮬레이터의 발전은 미분 가능한 센서 모델의 통합으로 더욱 강화될 수 있습니다. 이러한 모델은 로봇의 환경 인식 및 상호 작용과 같은 작업에 필수적인 견고한 Real-to-Sim 및 Sim-to-Real 워크플로우를 촉진합니다. PyTorch3D와 같은 프레임워크를 통해 이미지나 포인트 클라우드의 미분 가능한 렌더링(differentiable rendering)을 통합하는 것은 시뮬레이션의 사실성과 실용성을 높일 뿐만 아니라 미분 가능성도 유지합니다. 이러한 추세는 다양한 센서 모델에 대한 추가 탐구와 실제 센서 기능을 반영하는 다중 미분 가능 센서의 통합으로 이어질 것입니다.

미분 가능한 시뮬레이터의 그래디언트를 사용하여 실시간으로 온라인에서 행동을 최적화하는 것은 매력적인 개념입니다. 그러나 현재의 미분 가능한 시뮬레이터는 실시간 이하의 속도로 작동하여 온라인 최적화 프레임워크 내에서의 적용을 제한합니다. 이 연구 방향은 엄청난 잠재력을 가지고 있지만, 지금까지 시연된 실제 작업들은 시뮬레이터의 현재 한계로 인해 비교적 간단한 작업에 국한되어 있습니다.

계획 및 궤적 최적화와 같은 다운스트림 작업을 용이하게 하기 위해 시뮬레이터 내에서 포괄적인 환경 모델을 재구성하는 Real-to-Sim 전이 학습 영역은 향후 성장할 것으로 예상되는 또 다른 응용 분야입니다. 시스템 식별(System Identification)에서 다루는 것 이상의 모델링 과제를 포괄하는 이 방향은, 미분 가능한 특성을 활용하면서 시뮬레이터 내에서 환경 역학을 표현하는 데 있어 주목할 만한 발전을 목격했습니다.

미분 가능한 시뮬레이션은 기존 시뮬레이션 제품군에 비해 여러 장점을 제공합니다. Brax, Warp, TDS와 같은 오픈 소스 시뮬레이터는 병렬 시뮬레이션을 지원하고 GPU 기능을 활용하여 모방 학습과 같은 작업에서 빠른 모델 훈련에 활용되었습니다. 또한 대부분의 미분 가능한 시뮬레이터는 PyTorch나 JAX와 같은 일반적인 워크플로우에 매끄럽게 통합됩니다. 그러나 제한된 센싱 기능, API의 가파른 학습 곡선으로 인한 복잡성 인식, 기존 시뮬레이션 소프트웨어에 비해 적은 기능 등의 과제가 남아 있습니다. 게다가 강화 학습 응용 분야에서는 그래디언트의 필요성이 보편적으로 확립되지 않아 추가 연구가 필요합니다. 또한 미분 가능한 시뮬레이션의 미묘한 랜드스케이프에 맞춘 최적화 기법의 개발도 잠재력을 완전히 실현하기 위해 필요합니다.

미분 가능한 물리 시뮬레이터(DiffS)에 관한 리뷰 논문의 그림과 표 캡션 모음입니다. 시뮬레이터의 구성 요소, 접촉 모델, 그리고 시스템 식별 및 최적화와 같은 응용 분야를 다룹니다.

Fig 1: 미분 가능한 시뮬레이션(Differentiable Simulation) 분야의 발전된 연구 범위를 시각화한 그림이다. 연체 및 강체 시뮬레이션, 시스템 식별, 궤적 최적화, 형태 최적화 등 다양한 응용 분야를 포괄하고 있다.

Fig 2: 미분 가능한 시뮬레이터의 각 구성 요소가 어떻게 상호 작용하는지 보여주는 개요도이다. 손실 함수와 그래디언트 최적화기를 제외한 모든 구성 요소는 섹션 2에서 상세히 다룬다.

Table 1: 본 리뷰에서 조사한 모든 미분 가능한 물리 시뮬레이터의 목록이다. 기존 엔진을 활용한 응용 연구는 제외하고, 새로운 시뮬레이션 엔진을 제안한 논문들만 포함되었다. 그래디언트 방법(Gradient Method), 동역학 모델, 접촉 모델(Contact Model) 등 주요 구성 요소를 비교하고 있다.

Fig 3: (a) 쿨롱 법칙(Coulomb’s law)을 정의하는 2차 마찰 원뿔(Frictional Cone)과 (b) 이를 LCP(선형 상보성 문제)로 풀기 위해 선형화한 사각 피라미드의 비교이다. 선형화된 모델은 마찰력이 피라미드의 모서리 방향으로 편향되는 특성이 있음을 보여준다.

Fig 4: 다양한 접촉 모델(Contact Model) 구현 방식의 비교. 침투 불가 조건과 쿨롱 마찰 법칙은 불연속성으로 인해 미분이 불가능한 지점이 존재한다. 유연 모델(Compliant models)은 이러한 불연속성을 큰 기울기를 가진 함수로 근사하여 그래디언트 계산이 가능하도록 만든다.

Table 2: 11개의 오픈 소스 미분 가능한 시뮬레이터 목록이다. 연구자들이 시뮬레이터를 선택할 때 고려해야 할 사용자 기능(객체 유형, PyTorch/JAX 지원 여부, 파일 형식 등)을 중심으로 정리하였다.

Fig 5: 본 리뷰에서 다룬 미분 가능한 시뮬레이터의 다양한 응용 분야를 시각화한 면적 비례 벤 다이어그램이다. 각 영역의 숫자는 해당 분야에서 참조된 연구 논문의 수를 나타낸다.

Fig 6: 미분 가능한 시뮬레이션을 이용해 시스템 식별(System Identification)을 수행하는 예시이다. 공의 시뮬레이션 궤적이 실제 궤적(Ground Truth)과 일치하도록 강성이나 감쇠비 같은 재질 파라미터를 추정하는 과정을 보여준다.

Fig 7: (왼쪽) 다양한 지표에 대해 물체를 잡는 자세(Grasp pose)를 최적화하는 모습. (오른쪽) 궤적 최적화(Trajectory Optimization)를 사용하여 불가사리 로봇이 앞으로 나아가도록 제어하는 과정이며, 반복 학습(Iteration)에 따른 결과를 보여준다.

Fig 8: 형태 최적화(Morphology Optimization)에 미분 가능한 시뮬레이션을 적용한 예시이다. 두 사례 모두 케이지(Cage) 기반의 형태 파라미터화(Parametrization) 기법을 활용하고 있다.

Fig 9: 미분 가능한 물리 시뮬레이터의 그래디언트를 활용해 학습된 제어 정책(Policy)의 예시이다. 두 경우 모두 정책이 단순 퍼셉트론 또는 신경망을 통해 간접적으로 파라미터화되었다.

Fig 10: 신경망 증강 시뮬레이션(Neural Network Augmented Simulation) 방법의 비교. (왼쪽) 신경망이 실제 상태와 시뮬레이션 상태 간의 차이(Residual)를 학습한다. (오른쪽) 하이브리드 시뮬레이션은 물리 시뮬레이션의 일부를 신경망으로 대체하여, 기존 물리 모델이 설명하지 못하는 동역학을 학습할 수 있게 한다.