소프트 바디의 학습과 제어를 위해 Projective Dynamics(PD)를 기반으로 한 효율적인 미분 가능 시뮬레이터인 DiffPD를 제안합니다. 순방향 시뮬레이션의 콜레스키 분해 결과를 역전파에 재활용함으로써 기존 뉴턴 방법 대비 4~19배의 속도 향상을 달성했습니다.

소프트 바디 학습 및 제어 애플리케이션을 위한 새롭고 빠른 미분 가능 시뮬레이터를 제시합니다. 기존의 미분 가능 소프트 바디 시뮬레이터는 시간 적분 방법에 따라 두 가지 범주로 분류할 수 있습니다. 명시적(explicit) 타임스텝 방식을 사용하는 시뮬레이터는 경사도(gradient) 계산 시 수치적 불안정성을 피하기 위해 매우 작은 타임스텝이 필요하며, 암시적(implicit) 시간 적분을 사용하는 시뮬레이터는 일반적으로 인접 변수법(adjoint method)을 채택하고 비싼 선형화된 동역학을 풀어 경사도를 계산합니다.

Projective Dynamics (PD)에서 영감을 받아, 암시적 시간 적분을 기반으로 한 효율적인 미분 가능 소프트 바디 시뮬레이터인 DiffPD (Differentiable Projective Dynamics)를 제안합니다. DiffPD의 핵심 아이디어는 순방향 PD 시뮬레이션에서 미리 분해된(prefactorized) 콜레스키 분해(Cholesky decomposition)를 활용하여 역전파(backpropagation) 속도를 획기적으로 높이는 것입니다.

접촉 처리 측면에서 DiffPD는 두 가지 유형의 접촉을 지원합니다. 접촉 및 마찰력을 설명하는 페널티 기반 모델과 관통 불가 조건 및 정지 마찰을 강제하는 상보성(complementarity) 기반 모델입니다. DiffPD의 성능을 평가한 결과, 시스템 식별, 역설계 문제, 궤적 최적화, 폐루프 제어 등 다양한 애플리케이션에서 표준 뉴턴 방법(Newton's method)보다 4~19배 더 빠름을 확인했습니다. 또한 접촉과 충돌이 포함된 Real-to-Sim 예제에 DiffPD를 적용하여 실제 장면의 디지털 트윈을 재구성하는 능력을 보여줍니다.

본 논문은 Projective Dynamics(PD)의 비선형성 분리 아이디어를 역전파에 확장 적용하여, 기존 암시적 시뮬레이터의 병목 현상인 계산 비용 문제를 해결한 효율적인 미분 가능 소프트 바디 시뮬레이터 DiffPD를 제안합니다. DiffPD는 콜레스키 분해 재사용과 저랭크 업데이트를 통해 기존 뉴턴 방법보다 4~19배 빠른 속도를 달성하며, 다양한 역설계 및 제어 최적화 문제에서 우수한 성능을 입증했습니다.

최근 미분 가능 물리(differentiable physics)의 급격한 발전으로 미분 가능 시뮬레이터가 등장했으며, 최적화 루프 내에 시뮬레이션을 포함하는 다양한 역문제(inverse problems)에서 성공적인 성과를 거두고 있습니다. 미분 가능 시뮬레이터는 그래디언트 정보를 통해 물리 시스템의 진화에 대한 더 많은 가이드를 제공합니다. 이러한 추가 정보가 성숙한 그래디언트 기반 최적화 기법과 결합되면 시스템 식별, 파라미터 추정, 경로 계획, 제어기 설계 및 최적화, 역설계 문제 등 다양한 하류 애플리케이션의 정량적 연구를 용이하게 합니다.

본 연구에서는 소프트 바디 동역학을 위한 미분 가능 시뮬레이터 개발 문제에 집중합니다. 많은 응용 가능성에도 불구하고, 소프트 바디 동역학의 방대한 자유도(DoFs)로 인해 관련 연구는 아직 초기 단계에 머물러 있습니다. 한 가지 학습 기반 접근 방식은 신경망을 통해 실제 소프트 바디 동역학을 근사하여 빠른 자동 미분을 수행하는 것입니다. 하지만 이러한 방법은 시뮬레이션 과정이 물리 기반이 아닌 순수 신경망 기반이므로, 물리적으로 타당하지 않거나 해석 불가능한 결과를 초래할 수 있으며 일반적으로 일반화 성능이 떨어집니다.

또 다른 물리 기반 연구 방향은 소프트 바디 동역학의 지배 방정식을 직접 미분하는 것입니다. 이러한 시뮬레이터는 시간 적분 방식에 따라 명시적(explicit) 및 암시적(implicit) 시뮬레이터로 분류됩니다. 명시적 미분 가능 시뮬레이터는 순방향 시뮬레이션에서 명시적 시간 적분을 구현하고 연쇄 법칙을 직접 적용하여 그래디언트를 유도합니다. 계산이 빠르고 구현이 간단하지만, 수치적 불안정성을 피하기 위해 매우 작은 시간 간격(timestep)이 필요합니다. 또한 그래디언트 유도 시 모든 시간 간격의 상태를 메모리에 저장해야 하므로, 암시적 방식보다 수십 배 더 많은 메모리를 소비하며 이를 완화하기 위해 체크포인트와 같은 복잡한 기법이 필요합니다.

명시적 시뮬레이터와 달리 암시적 시뮬레이션은 훨씬 큰 시간 간격을 허용합니다. 수치적으로 더 견고하고 역전파 시 메모리 효율적입니다. 그러나 일반적인 암시적 미분 가능 시뮬레이터는 순방향에서 뉴턴 방법(Newton’s method)을, 역전파에서 인접 변수 방법(adjoint method)을 사용하는데, 두 과정 모두 비싼 비용이 드는 소프트 바디 동역학의 선형화를 요구합니다. 암시적 방식을 가속화하려는 노력이 있었음에도 불구하고, 역전파 과정은 여전히 역문제 응용의 병목 현상으로 남아 있습니다.

본 논문에서는 재질 및 접촉 모델에 대한 특정 가정을 바탕으로 유한 요소법(FEM)과 암시적 시간 적분을 구현한 효율적인 미분 가능 소프트 바디 시뮬레이터인 DiffPD를 제안합니다. 우리는 탄성 에너지가 특정 이차 형식(quadratic form)을 가질 때 FEM을 이용한 암시적 시간 적분을 빠르고 안정적으로 해결하는 알고리즘인 Projective Dynamics (PD)에서 영감을 얻었습니다. PD와 공유하는 핵심 관찰은 순방향 시뮬레이션과 역전파 모두에서 계산 병목이 소프트 바디 동역학의 비선형성에서 발생한다는 점입니다. 시스템 동역학에서 비선형성을 분리함으로써, PD는 사전 분해된(prefactorized) 선형 시스템을 푸는 글로벌 단계와 물리적 비선형성을 해결하며 대규모 병렬화가 가능한 로컬 단계로 구성된 글로벌-로컬 솔버를 제안합니다. 본 논문의 핵심 기여는 적절한 선형 대수적 재구성을 통해 PD의 비선형성 분해 아이디어를 역전파까지 완전히 확장할 수 있음을 입증한 것입니다.

미분 가능한 접촉 처리를 지원하기 위해, 우리는 기존 PD 논문들의 접촉 모델을 재검토했습니다. DiffPD는 가상의 충돌 에너지를 이용한 페널티 기반(penalty-based) 접촉 및 마찰 모델을 자연스럽게 지원하며, 이는 PD 프레임워크에 원활하게 통합됩니다. 또한, 우리는 상보성 기반(complementarity-based) 모델을 미분 가능하게 만드는 방법을 탐구했습니다. 접촉 정점이 내부 정점보다 훨씬 적다는 사실을 이용하여, 콜레스키 분해(Cholesky factorization)와 저랭크 행렬 업데이트(low-rank matrix update)를 결합해 미분 가능한 정지 마찰 및 관통 금지 접촉을 지원하는 새로운 솔루션을 제시합니다.

우리는 최대 약 30,000 자유도를 가진 다양한 3D 애플리케이션에서 DiffPD의 효능을 입증했습니다. DiffPD의 순방향 및 역방향 계산은 뉴턴 방법보다 4~19배 빠름을 확인했습니다. 또한, 소프트 로봇의 폐루프 신경망 제어기 학습 시 심층 강화 학습(RL) 알고리즘 대비 실제 계산 시간(wall-clock time) 기준 9~11배의 속도 향상을 보고했습니다. 마지막으로 비디오 입력으로부터 테니스 공의 충돌 이벤트를 재구성하는 Real-to-Sim 애플리케이션을 통해 본 시뮬레이터의 능력을 보여주었습니다.

이 섹션에서는 미분 가능한 시뮬레이터, 접촉 처리가 포함된 프로젝트 다이내믹스(PD), 그리고 소프트 로봇 설계 및 제어 방법론에 관한 기존 연구들을 검토합니다. 특히 기존의 명시적 및 암시적 시뮬레이터들의 한계를 분석하고, PD의 구조를 활용해 역전파 속도를 높인 본 논문의 차별점을 강조합니다.

본 섹션에서는 미분 가능한 시뮬레이터와 접촉 처리가 포함된 PD에 관한 방법론을 검토하고, 이어서 소프트 로봇 설계 및 제어 방법에 대해 간략히 요약한다. 본 연구와 기존 논문들 간의 차이점은 표 1에 요약되어 있다.

최근 미분 가능한 물리(differentiable physics)의 발전으로 로보틱스 학습, 제어 및 설계 작업에 경사하강법 기반 방법(gradient-based methods)을 적용하는 것이 용이해졌다. 강체 동역학, 소프트 바디 동역학, 천, 유체 동역학을 위한 여러 미분 가능한 시뮬레이터가 개발되었다. 본 논문에서는 주요 관심사인 소프트 바디 동역학을 위한 방법론을 주로 다룬다. Hu/2019/ChainQueen과 그 후속 연구인 Hu/2020/DiffTaichi는 물질점 방법(MPM)을 사용한 미분 가능한 물리 기반 소프트 바디 시뮬레이터를 소개했다. 그러나 이들의 명시적 시간 적분(explicit time integration) 방식은 수치적 안정성을 위해 매우 작은 타임스텝을 요구하며, 이는 역전파 과정에서 막대한 메모리 소비로 이어진다. 반면, 본 연구는 Hahn/2019/Differentiable-FEM 및 Geilinger/2020/ADD와 유사하게 암시적 유한요소법(implicit FEM) 시뮬레이터를 사용한다. DiffPD는 PD의 고유한 구조를 활용하여 경험적으로 더 빠른 경사도 계산을 가능하게 하는 전략적인 역전파 스킴에 집중한다.

PD는 원래 Bouaziz/2014/Projective-Dynamics에 의해 뉴턴 방법(Newton's method)의 매력적인 대안으로 제안되었다. 표준 PD 알고리즘은 강체 지원, 운동 에너지 보존, 광범위한 초탄성 재질 지원 등으로 확장되어 왔다. DiffPD는 기존의 표준 PD 프레임워크를 계승하면서 이를 경사도 계산이 가능하도록 확장하였다. 이론적으로 Narain/2016/ADMM-Proximal 등은 PD를 최적화 관점에서 교대 방향 승수법(ADMM)의 특수한 사례로 해석하기도 한다.

소프트 바디 시뮬레이션에서 접촉과 마찰 처리는 광범위하게 연구되어 왔다. PD 시뮬레이션에서 가장 널리 쓰이는 전략은 접촉을 소프트 제약 조건(soft constraints)으로 처리하는 것이다. 이는 충돌하는 정점을 충돌 표면에 직접 투영하거나 가상의 페널티 에너지를 부과함으로써 달성된다. 그러나 이러한 방법은 장면마다 세심한 튜닝이 필요한 인위적인 강성 계수를 도입한다. 본 연구에서는 물리적 타당성과 미분 가능성 사이의 균형을 맞추기 위해 페널티 기반 모델과 상보성 기반(complementarity-based) 모델을 모두 고려한다. 특히 접촉이 전체 자유도(DoF)의 극히 일부에서만 발생한다는 가정하에 저랭크 업데이트(low-rank update)를 활용하여 계산 효율을 높인다.

소프트 바디 시뮬레이션이 빨라지고 견고해짐에 따라 컴퓨팅 소프트 로보틱스 분야가 부상하고 있다. 초기 시뮬레이터인 VoxCAD는 미분 불가능하여 유전 알고리즘과 같은 경사도가 필요 없는(gradient-free) 방식에 의존했으며, 이는 학습에 수 시간에서 수 일이 소요되었다. 이와 대조적으로 DiffPD와 같은 경사도 기반 방식은 경사도가 제공하는 추가 정보를 통해 훨씬 효율적인 최적화가 가능하다. 본 시뮬레이터는 완전한 동역학 시스템을 다루며, 폐루프 및 개루프 제어와 재질 분포에 걸친 소프트 로봇의 공동 설계를 지원한다.

이 섹션에서는 암시적 시간 적분법과 Projective Dynamics(PD)의 기초를 다룹니다. 물리 시뮬레이션을 에너지 최소화 문제로 정형화하고, 뉴턴 방법과 역전파를 위한 수반 행렬(Adjoint) 계산 과정을 설명합니다.

이 섹션에서는 암시적 시간 적분(implicit timestepping) 스킴과 Projective Dynamics (PD)의 기본 개념을 검토합니다. FEM 이산화 후 변형 가능한 물체의 3D 노드 수를 $n$이라고 합시다. 시간 이산화 후, $i$번째 타임스텝에서의 노드 위치와 속도를 각각 $x_i \in \mathbb{R}^{3n}$와 $v_i \in \mathbb{R}^{3n}$로 나타냅니다.

본 논문에서는 암시적 시간 적분에 집중합니다:

$v_{i+1}$을 $x_{i+1}$ 식에 대입하면 다음과 같은 비선형 방정식 시스템을 얻습니다:

단순화를 위해 인덱스를 생략하면, 각 타임스텝의 목표는 주어진 $y$에 대해 다음 식을 만족하는 $x$를 찾는 것입니다:

Stuart/1996/Implicit-Integration와 Martin/2011/Example-Based-Elastic-Materials가 지적했듯이, 방정식 4를 푸는 것은 다음 목적 함수 $g$의 임계점(critical point)을 찾는 것과 같습니다:

방정식 4는 일반적으로 뉴턴 방법(Newton's method)으로 해결하며, 이는 일련의 선형 방정식 시스템을 반복적으로 풉니다. $k$번째 반복에서 뉴턴 방법은 다음 수식을 통해 다음 추측값 $x_{k+1}$을 계산합니다:

암시적 시간 적분을 이용한 역전파

$x$에 대해 정의된 손실 함수 $L$이 있을 때, $\frac{\partial L}{\partial x}$로부터 $\frac{\partial L}{\partial y}$를 계산하는 역전파(Backpropagation) 과정을 요약합니다. $x$와 $y$는 $\nabla g(x) = 0$에 의해 암시적으로 구속되므로, 이를 $y$에 대해 미분하여 다음 관계를 얻습니다:

Projective Dynamics (PD)

PD는 재료 모델의 비선형성을 분리하는 특정 쿼드라틱 포텐셜 에너지 가족을 고려합니다 Bouaziz/2014/Projective-Dynamics. 구체적으로 PD는 에너지 $E$가 다음과 같은 형태의 합이라고 가정합니다:

이러한 정형화는 Bouaziz/2014/Projective-Dynamics, Liu/2017/Quasi-Newton-PD, Min/2019/Soft-Body-Hydrodynamics 등 기존 연구의 관행을 따릅니다.

본 섹션은 Projective Dynamics의 원리를 역전파에 적용하여, 계산 병목인 헤시안 행렬을 상수 행렬과 비선형 성분으로 분리하는 효율적인 알고리즘을 제안합니다. 이를 통해 사전 분해된 콜레스키 행렬을 재사용함으로써 역전파 속도를 획기적으로 개선하며, 준뉴턴 방법을 통한 추가 가속 가능성을 제시합니다.

이제 우리는 PD 기반 역전파(backpropagation) 방법을 설명합니다. 우리의 핵심 관찰은 역전파의 병목 현상이 Equation 14에 있는 헤시안 $\nabla^2 g(x)$의 계산에 있다는 점입니다. 순방향 PD 시뮬레이션과 동일한 아이디어를 따라, 우리는 $\nabla^2 g(x)$를 전역 상수 행렬과 국소적으로 병렬화 가능한 비선형 성분으로 분리할 것을 제안합니다. 이를 확인하기 위해 Equation 16과 17을 사용하여 $\nabla^2 E$를 계산합니다.

입력: $y$, $x$ (순방향 시뮬레이션에서 이미 계산됨), 그리고 $\frac{\partial L}{\partial x}$
출력: $\frac{\partial L}{\partial y}$
1. $z = 0$으로 초기화
2. $z$가 수렴할 때까지 반복:
   a. $b = \Delta A z + (\frac{\partial L}{\partial x})^T$ ($\Delta A z$를 병렬화하는 로컬 스텝)
   b. $z = A^{-1} b$ (글로벌 스텝)
3. $\frac{\partial L}{\partial y} = \frac{1}{h^2} z^T M$ 계산 (Equation 13)

이제 $\Delta A$가 $\nabla^2 g$의 비선형성 근원임이 명확해졌습니다. $\nabla^2 g = A - \Delta A$라는 행렬 분할은 Equation 14를 풀기 위한 다음과 같은 반복적 솔버(iterative solver)를 제안합니다.

수렴 속도(Convergence rate). 임의의 초기 추측값 $z_0$로부터 이 반복 과정이 수렴하기 위한 필요충분 조건은 스펙트럼 반경 $\rho(A^{-1} \Delta A) < 1$을 만족하는 것입니다. 실제 실험에서 수렴 문제가 관찰되지 않았으며, 이는 이 조건이 일반적으로 만족됨을 시사합니다.

준뉴턴(Quasi-Newton) 방법을 통한 추가 가속. 우리는 이 로컬-글로벌 솔버를 상수 헤시안 근사를 사용하는 단순화된 준뉴턴 방법으로 재해석할 수 있습니다. BFGS와 같은 전체 준뉴턴 방법을 적용하면 $A$의 콜레스키 분해를 재사용하면서도 초선형 수렴 속도(superlinear convergence rate)를 달성할 수 있습니다.

DiffPD에 접촉 처리 및 미분 기능을 통합하기 위해 페널티 기반 모델과 상보성 기반 모델 두 가지를 제안하며, 각각의 구현 편의성과 물리적 정확도 간의 트레이드오프를 설명합니다.

우리는 4절에서 DiffPD의 기본 프레임워크를 설명했습니다. 이 섹션에서는 DiffPD에 접촉 처리(contact handling)와 접촉 그래디언트(contact gradients)를 통합하는 새로운 방법을 제안합니다. 이러한 접촉 처리 알고리즘을 개발하는 데 있어 과제는 두 가지입니다. 첫째, 순방향 시뮬레이션과 역전파 모두에서 기본적인 PD 프레임워크와 호환되어야 합니다. 둘째, 미분 가능성을 지원해야 합니다.

이 섹션에서는 DiffPD가 지원하는 두 가지 접촉 옵션인 명시적 페널티 기반 접촉 모델(explicit, penalty-based contact model)(정지 및 동마찰 포함)과 암시적 상보성 기반 접촉 모델(implicit, complementarity-based contact model)(비관통 조건 및 정지 마찰 지원)에 대해 논의합니다. 두 옵션 모두 장단점이 있습니다. 페널티 기반 방법은 구현이 더 간단하고 PyTorch의 명시적 신경망 레이어와 같이 머신러닝 프레임워크에 통합하기가 더 쉽습니다. 하지만 일반적으로 장면마다 매개변수를 세심하게 조정해야 한다는 단점이 있습니다. 반면, 상보성 기반 방법은 장면 의존적인 매개변수에 의존하지 않지만, 현재는 정지 마찰로만 제한됩니다. 페널티 기반 방법은 물리적 정확도보다 속도와 단순성을 선호하는 작업에 더 적합하며, 상보성 기반 방법은 바퀴 달린 로봇 시뮬레이션과 같이 비관통 조건을 엄격하게 적용해야 하고 미끄러짐이 드문 경우에 더 유용합니다.

이 섹션은 가상의 에너지를 사용하는 페널티 기반 접촉 모델과 외력으로 처리하는 마찰력 모델을 설명합니다. 이 방식은 기존 PD 프레임워크와 역전파 과정에 쉽게 통합될 수 있다는 장점이 있습니다.

기존의 PD 시뮬레이션 관련 연구들은 일반적으로 페널티 기반 소프트 접촉 모델을 사용하여 접촉력을 처리해 왔습니다. 접촉력을 모델링하는 일반적인 방법 중 하나는 가상의 에너지 $E_c$를 추가하는 것입니다. 여기서 $M_c$는 접촉 표면과 그 외부를 나타내며, $G_c$는 위치 $x$에서 접촉 노드들을 선택하는 행렬입니다. 이런 방식으로 노드가 접촉 표면을 관통할 때마다, $E_c$는 해당 노드를 다시 접촉 표면으로 밀어내려는 접촉력을 발생시킵니다. 이러한 접촉 모델은 PD 순방향 시뮬레이션에 원활하게 통합될 수 있으므로, 섹션 4에서 설명한 역전파 방법에서도 자연스럽게 지원됩니다.

페널티 기반 모델로 정적 및 동적 마찰력을 처리하는 것은 약간 더 까다롭습니다. 마찰은 일반적으로 노드의 위치 $x$가 아니라 노드의 속도와 관련이 있기 때문에, 이를 특징짓는 $E_c$를 찾는 것이 직관적이지 않습니다. 따라서 마찰을 추가적인 $E_c$로 모델링하는 대신, Macklin 등(2020)에서 설명된 페널티 기반 마찰력을 가져와 외력 $f_{ext}$에 직접 추가합니다. 이러한 마찰력에 대한 그레이디언트를 유도하는 것은 이전과 마찬가지로 체인룰을 사용하여 $\frac{\partial L}{\partial f_{ext}}$를 쉽게 계산할 수 있으므로 여전히 간단합니다.

이 섹션에서는 DiffPD를 기존의 명시적 및 암시적 미분 가능 시뮬레이터들과 비교하여 성능을 검증합니다. 특히 역전파 시의 메모리 효율성과 수치적 안정성 측면에서 암시적 방법인 DiffPD가 갖는 우위를 실험적으로 입증합니다.

이 섹션에서는 DiffPD를 몇 가지 베이스라인 미분 가능 시뮬레이션 방법들과 비교하고, 섹션 4와 섹션 5에서 소개한 가속 기법들에 대한 절제 연구(ablation studies)를 수행한다.

먼저 역전파 과정에서의 암시적(implicit) 및 명시적(explicit) 시간 적분 스킴의 차이점을 논의한다. 다음으로, 뉴턴 방법(Newton's method)으로 구현된 다른 두 가지 완전 암시적 시뮬레이터와 본 시뮬레이터를 비교한다. 마지막으로 DiffPD에 구현된 두 가지 접촉 모델에 대한 논의로 이 섹션을 마무리한다.

이 섹션의 최종 목표는 서로 다른 시간 적분 방법 간의 차이를 평가하고 DiffPD의 효율성 근원을 이해하는 것이다. 베이스라인 알고리즘과 DiffPD는 모두 C++로 구현되었으며, 희소 행렬 분해 및 선형 솔버를 위해 Eigen 라이브러리를 사용했다. 모든 실험은 3.1 GHz의 Intel Xeon Scalable 프로세서 16개와 64 GB 메모리를 갖춘 Google Cloud Platform의 가상 머신 인스턴스에서 실행되었다. 별도의 언급이 없는 한 병렬 컴퓨팅을 위해 OpenMP를 사용했으며 기본적으로 8개의 스레드를 사용했다.

본 섹션에서는 알고리즘의 핵심 요소인 반복 솔버의 수렴 조건, 라인 서치(line search)의 필요성, 그리고 페널티 및 상보성 기반 접촉 모델의 성능을 실험적으로 분석합니다. 특히 접촉 노드 비율이 약 40% 이하일 때 저랭크 업데이트를 통한 가속화가 유효함을 입증합니다.

본 섹션에서는 알고리즘의 여러 구성 요소에 대한 어블레이션 연구(ablation study)를 수행합니다. 먼저 섹션 4에서 제안한 역전파 알고리즘의 반복 솔버(iterative solver)와 라인 서치(line search) 알고리즘에 대한 실증적 분석을 진행하고, 이어서 페널티 기반 및 상보성 기반 접촉 모델을 평가합니다.

역전파 솔버의 핵심 가정 중 하나는 스펙트럼 반경(spectral radius) $\rho(A^{-1}\Delta A) < 1$이라는 점입니다. 이는 가정이 성립하지 않을 때를 대비해 라인 서치 알고리즘을 안전장치로 채택한 주요 이유이기도 합니다. Cantilever 예제에서 $\rho(A^{-1}\Delta A)$를 명시적으로 계산한 결과 최대값 0.996을 확인했으며, 이는 반복 솔버의 수렴을 기대할 수 있음을 의미합니다. 이를 검증하기 위해 100개의 무작위 인공 벡터 $\frac{\partial L}{\partial x}$를 입력하여 테스트한 결과 수렴성을 확인했습니다. Rolling sphere 및 다른 응용 예제에서도 유사한 결과가 관찰되었으며, 이는 이론적 보장이 없더라도 실제 상황에서 반복 솔버가 안정적으로 수렴함을 시사합니다.

실제로 스펙트럼 반경이 1을 넘는 경우가 드물기 때문에, 보폭(step size)을 줄이기 위해 라인 서치를 실행하는 경우는 거의 없었습니다. 대부분의 예제에서 뉴턴 및 준뉴턴 방법의 기본 보폭인 1만으로도 충분했습니다. 그럼에도 불구하고 모든 예제에서 최대 라인 서치 반복 횟수를 10회로 설정하여 안전성을 확보했습니다.

Macklin/2020/Local-Global-Contact의 페널티 기반 접촉 및 마찰력을 DiffPD에 구현하여 분석했습니다. 먼저 Slope 테스트를 통해 마찰 계수 변화에 따른 표현력(expressiveness)을 확인했습니다. 마찰이 감소함에 따라 미끄러지는 거리가 증가하는 것을 확인했으며, 이는 물리적 기대치와 일치합니다.

페널티 기반 모델의 역전파는 페널티 에너지를 연쇄 법칙(chain rule)으로 미분하는 절차적 과정이므로 간단합니다. DiffPD의 역전파와 최적화 적합성을 보여주기 위해 Duck 예제를 설계했습니다. 곡선 슬라이드에서 고무 오리의 마찰 계수를 최적화하여 목표 지점에 도달하게 한 결과, 경사도 기반 최적화를 통해 성능이 실질적으로 개선됨을 확인했습니다.

상보성(complementarity) 기반 모델의 역전파 알고리즘은 접촉 집합 $C$가 전체 자유도(DoFs)의 작은 부분집합이라고 가정합니다. 알고리즘 4는 저랭크 업데이트(low-rank update)를 활용하여 직접 선형 시스템을 푸는 것보다 상당한 속도 향상을 제공합니다. 실제 3D 예제들에서 활성 접촉 노드는 전체의 6%를 넘지 않았습니다.

하지만 천이나 로프 같은 객체에서는 이 가정이 깨질 수 있습니다. 저랭크 업데이트의 이점이 사라지는 임계점을 찾기 위해 Napkin 예제를 통해 실험했습니다. 약 15,000 DoFs를 가진 시스템에서 저랭크 업데이트 방법은 접촉 집합의 비율이 약 40%에 도달할 때까지 직접 행렬을 푸는 것보다 빠른 성능을 보였습니다.

이 섹션에서는 DiffPD를 시스템 식별, 역설계, 제어 최적화 등 5가지 분야에 적용하여 성능을 검증하며, 기존 방식 대비 약 10배의 속도 향상을 입증합니다.

이 섹션에서는 DiffPD를 통해 이점을 얻을 수 있는 다양한 작업들을 보여주며, 이를 시스템 식별, 역설계, 궤적 최적화, 폐루프 제어, 그리고 real-to-sim 응용의 다섯 가지 범주로 분류합니다. 기존의 미분 가능 시뮬레이터들이 이러한 예시들 대부분에서 그 능력을 입증해 왔지만, 본 연구에서는 DiffPD가 대등한 결과를 달성하면서도 계산 시간을 거의 한 자릿수(order of magnitude)만큼 단축할 수 있음을 강조합니다.

각 예제의 설정은 Table 3에 요약되어 있습니다. 액추에이터가 포함된 예제의 경우, Min/2019/Soft-Creatures에서 논의된 수축 섬유 모델을 구현했습니다. 최적화 알고리즘의 경우, 별도로 명시되지 않는 한 기본적으로 L-BFGS를 사용합니다. 최적화 후의 시간 비용과 최종 손실(loss)은 Table 4에 보고합니다. 공정한 비교를 위해 서로 다른 시뮬레이션 방법을 사용하여 L-BFGS를 실행할 때 동일한 초기 추측값과 종료 조건을 사용합니다.

Table 4에서 손실을 보고할 때, 손실 1은 16개의 무작위 샘플링된 솔루션의 평균 성능을 나타내고 손실 0은 원하는 솔루션에 매핑되도록 선형적으로 정규화합니다. 유계 손실(bounded loss)을 사용하는 예제의 경우, 손실 0을 손실의 하한(일반적으로 0)을 달성하는 오라클 솔루션에 매핑합니다. 보행 및 수영 로봇(섹션 7.3 및 7.4)에서 사용되는 무계 손실(unbounded loss)의 경우, 손실 0을 DiffPD에서 얻은 솔루션의 성능에 매핑합니다. 각 실험에 대한 자세한 내용은 보충 자료와 소스 코드에서 확인할 수 있습니다.

소프트 바디의 움직임을 통해 재질 파라미터인 영률과 포아송 비를 추정하는 시스템 식별 실험을 수행하였으며, DiffPD는 기존 뉴턴 방법 대비 9~12배의 속도 향상을 달성했습니다.

이 섹션에서는 소프트 바디의 동적 움직임으로부터 재질 파라미터(영률 $E$ 및 포아송 비 $ u$)를 추정하는 것을 목표로 하는 두 가지 예시를 논의합니다. 식물(Plant) 예시는 진동으로부터 재질 파라미터를 추정하며, 튀는 공(Bouncing ball) 예시는 지면과의 상호작용으로부터 파라미터를 예측합니다. 우리는 미리 정의된 재질 파라미터 세트와 순방향 PD 시뮬레이터를 사용하여 그라운드 트루스(Ground Truth)를 생성합니다.

식물(Plant) 먼저 3,863개의 육면체 요소와 29,763개의 자유도(DoFs)를 가진 탄성 3D 집안 식물 모델을 초기화합니다(Figure 8). 식물의 뿌리 부분에는 디리클레 경계 조건(Dirichlet boundary conditions)을 적용하여 지면에 고정되도록 합니다. 시뮬레이션 시작 시 초기 수평력을 가하여 식물을 진동시킵니다. 무작위로 선택된 재질 파라미터를 사용한 초기 추측에서 시작하여, 그라운드 트루스와 동일한 방식으로 새로운 식물을 변형시키고, 그라운드 트루스 식물과 일치하도록 영률과 포아송 비의 로그값을 최적화합니다. 각 타임스텝에서의 손실(Loss)은 새로운 식물과 참조 식물 사이의 위치에 대한 요소별 차이의 제곱합으로 결정됩니다.

최적화 후, DiffPD, Newton-PCG, Newton-Cholesky는 각각 최종 영률 1.00 MPa, 0.96 MPa, 0.96 MPa의 지역 최솟값(local minima)으로 수렴합니다. 포아송 비의 경우 DiffPD는 0.4로 수렴한 반면, 두 뉴턴 방법은 모두 0.44로 수렴했습니다. 참조 식물은 영률 1 MPa, 포아송 비 0.4로 초기화되었습니다. 세 방법 모두 그라운드 트루스와 유사한 솔루션에 도달했지만, DiffPD를 사용했을 때 손실 및 그레이디언트 평가를 위한 최적화 과정이 9배 더 빠르게 수행되었습니다(Table 4). DiffPD가 수치적 차이로 인해 더 많은 함수 평가를 사용했음에도 불구하고 그라운드 트루스에 더 가까운 솔루션에 수렴했음을 관찰했습니다. 그러나 뉴턴 방법과 동일한 횟수의 함수 평가(10회) 후 종료하더라도 최적화된 결과는 거의 동일했을 것이며, 이는 9배의 속도 향상이 실제로 시뮬레이션 측면에서의 개선에서 기인함을 의미합니다.

튀는 공(Bouncing ball) 이 예시에서는 1,288개의 육면체 요소와 9,132개의 자유도를 가진 공을 알려진 초기 위치에서 지면으로 던지는 상황을 고려합니다(Figure 9). 이 공은 단순한 고체 공보다 더 복잡한 변형 동작을 생성하기 위해 면을 관통하는 세 개의 원통형 구멍이 뚫려 있습니다. 이 예시는 상보성 기반 접촉 모델을 사용합니다. 충돌이 발생하는 상황에서도 DiffPD는 계산 시간 면에서 12배의 상당한 속도 향상을 보여줍니다.

그래디언트 정보를 활용하여 소프트 바디의 초기 위치, 속도 및 근육 활성화 신호를 최적화하는 두 가지 사례(토끼 도약 및 텐던 구동)를 통해 DiffPD가 기존 뉴턴 방법보다 9배 빠른 속도로 최적의 구성을 찾아냄을 입증합니다.

우리는 소프트 바디 작업의 초기 구성(initial configuration)을 최적화하기 위해 그래디언트 정보를 사용하는 능력을 보여주는 두 가지 예시를 제시합니다. 토끼(Bunny) 예제에서는 소프트 스탠포드 토끼의 초기 위치와 속도를 최적화하여 튀어 오르는 궤적이 목표 지점에서 끝나도록 합니다. 텐던 경로 제어(Routing tendon) 예제에서는 한 면이 바닥에 고정된 소프트 직육면체의 각 근육에 적용되는 일정한 활성화 신호를 최적화하여, 반대쪽 모서리가 시뮬레이션 종료 시 목표 지점에 도달하도록 합니다.

토끼(Bunny). 이 예제에서는 $1,601$개의 요소와 $7,062$개의 자유도($DoFs$)를 가진 스탠포드 토끼의 초기 포즈와 속도를 최적화하여, 시뮬레이션이 끝날 때 질량 중심(Figure 10의 빨간 점)이 목표 위치(Figure 10의 파란 점)에 도달하도록 합니다. 이 예제는 상보성 기반 접촉 모델(complementarity-based contact model)을 사용하며, $2,354$개의 정점 중 약 $10.7\%$에 해당하는 $251$개의 표면 정점($753$개의 자유도)을 가능한 접촉 노드 집합에 추가했습니다. Figure 10은 최적화 전후의 토끼 궤적을 보여줍니다. 초기 추측은 목표와 거의 반대 방향으로 궤적을 생성하지만, 최적화된 궤적은 목표에 훨씬 더 가깝게 끝납니다.

세 가지 방법 중 어느 것도 이 작업을 완벽하게 해결하지 못했다는 점에 유의해야 합니다. 최적화 후에도 궤적이 목표에 완전히 도달하지 못했습니다. 이는 목표가 실제 바운스 궤적 시뮬레이션에서 생성된 것이 아니라 임의로 선택되었기 때문에 도달 가능성이 보장되지 않기 때문입니다. Table 4를 보면 DiffPD의 최종 손실($loss$)이 Newton 방법보다 크지만, 계산 성능의 향상이 이를 보완합니다. 8개의 스레드를 사용하여, 우리 방법은 대규모 접촉점 집합이 있는 상황에서도 전체적으로 9배의 속도 향상을 달성했습니다.

텐던 경로 제어(Routing tendon). $512$개의 요소와 $2,475$개의 자유도를 가진 소프트 직육면체를 초기화하고 바닥면이 지면에 고정되도록 디리클레 경계 조건(Dirichlet boundary conditions)을 부여합니다. 또한 각 요소에 액추에이터를 추가하고 이를 16개의 근육 그룹으로 묶습니다. 액추에이터 활성화 수준은 $0$과 $1$ 사이의 스칼라 값으로, 각각 근육의 수축과 확장을 나타냅니다. 특정 활성화 그룹 내의 요소들은 모두 동일한 시간 불변 활성화 신호를 공유하며, 소프트 바디의 끝점(Figure 11의 빨간 점)이 목표 지점(Figure 11의 파란 점)에 도달하도록 이 신호를 최적화합니다. Table 4에 나타난 각 방법의 최종 반복에서의 정규화된 손실은 모두 0에 가까우며, 이는 작업이 거의 완벽하게 해결되었음을 나타냅니다. DiffPD를 사용하여 Newton 방법 대비 9배의 속도 향상을 관찰했습니다.

불가사리와 상어 모델을 위한 폐루프 신경망 제어기를 설계하고, 이를 강화학습(PPO)과 비교하여 DiffPD의 높은 샘플 효율성과 연산 속도를 입증합니다.

Min 등의 연구에서 영감을 받아, 우리는 '불가사리(Starfish)'와 '상어(Shark)'라는 두 해양 생물을 위한 폐루프(closed-loop) 신경망 제어기 설계를 고려합니다 (Figure 15). 각 예제에서 우리는 불가사리의 팔과 상어의 꼬리지느러미에 근육 섬유를 내부 액추에이터로 지정했습니다. 각 모델의 몸체에는 신경망 제어기의 입력 역할을 하는 속도 센서를 수동으로 배치했습니다. 이 예제들의 목표는 각 물고기가 옆으로 치우치지 않고 앞으로 나아갈 수 있도록 수영 제어기를 최적화하는 것입니다. 이를 위해 손실 함수를 각 타임스텝에서의 전진 속도와 선속도의 가중치 합으로 정의했습니다. 신경망 설계 측면에서는 각 층에 64개의 뉴런을 가진 3층 다층 퍼셉트론(MLP) 네트워크를 선택했습니다. 활성화 함수로는 하이퍼볼릭 탄젠트($\tanh$) 함수를 사용합니다. L-BFGS를 사용했던 이전 예제들과 달리, 여기서는 신경망 파라미터 최적화를 위해 Adam 옵티마이저를 사용한 경사 하강법을 적용했습니다. 최적화 과정에서 DiffPD를 사용했을 때 뉴턴 방법 대비 8~19배의 속도 향상이 관찰되었습니다.

우리는 제안하는 경사 기반 최적화 방법을 최신 강화학습 알고리즘인 PPO (Proximal Policy Optimization)와 비교합니다. 공정한 비교를 위해 DiffPD와 PPO 모두 동일한 랜덤 시드로 네트워크를 초기화했습니다. PPO와 같은 무경사(gradient-free) 알고리즘과 비교할 때, 경사 기반 최적화가 PPO보다 샘플 효율성이 더 높을 것으로 기대합니다. 이는 경사(gradient)가 PPO가 접근할 수 없는 소프트 바디 동역학에 대한 더 많은 정보를 제공하기 때문입니다. 실험 결과, Adam과 DiffPD 조합은 PPO보다 샘플 효율성 면에서 1~2 오더(order) 더 뛰어났으며, 실제 연산 시간(wall-clock time) 측면에서도 9~11배 더 빠른 속도를 기록했습니다.

테니스 공 충돌 비디오를 활용해 카메라 정보와 물리 파라미터를 추정하는 Real-to-Sim 실험을 수행하였으며, 향후 연구 과제로 하이퍼엘라스틱 재질 지원, 마찰 모델 정교화, GPU 가속을 통한 확장성 확보 등을 제시합니다.

본 섹션의 마지막으로 Real-to-Sim 실험인 '테니스 공' 예제를 소개한다. 이 예제에서는 평지에서 충돌하는 두 테니스 공의 비디오 클립을 캡처하고, 이로부터 카메라 정보, 각 공의 초기 위치 및 속도, 그리고 접촉 모델의 파라미터를 추정하는 것을 목표로 한다. 시뮬레이션에서 각 공은 320개의 사면체와 489개의 자유도($DoFs$)를 가진 구형 메쉬로 모델링되었다. 공과 지면 사이의 접촉은 상보성 기반 방법으로 모델링하였고, 공 사이의 접촉은 페널티 기반 모델을 사용하여 계산하였다.

두 공이 접촉할 때, 최적화 대상인 강성 파라미터와 두 공 중심 사이의 실제 거리와 공 직경의 차이를 곱하여 복원력(restitution force)을 추가한다. 본질적으로 이 복원력은 정지 길이가 공의 직경과 같은 스프링 모델로 취급될 수 있다. 또한, 복원력에 수직인 방향으로 마찰력을 추가하며, 그 크기는 최적화 대상인 마찰 계수에 의해 제어된다.

시뮬레이션된 운동과 실제 운동 사이의 불일치를 측정하는 손실 함수(loss function)를 정의하기 위해, 먼저 비디오 클립의 각 프레임에서 두 공 중심의 픽셀 위치를 추출한다. 다음으로, 시뮬레이션에서 각 공의 위치를 계산하고 핀홀 카메라 모델을 통해 동일한 이미지 공간으로 투영한다. 손실 함수는 시뮬레이션된 공의 픽셀 위치와 비디오 클립의 픽셀 위치 간의 차이로 정의된다. 이 손실을 최소화함으로써 카메라 정보, 각 공의 초기 상태, 그리고 접촉 모델 파라미터에 대한 추정치를 얻는다.

최적화 결과는 Table 4와 Figure 17에 요약되어 있다. 여러 파라미터 세트를 무작위로 샘플링하고 손실이 가장 작은 것을 최적화의 초기 추측값으로 선택하였다(Figure 17, 왼쪽). 이는 비디오 클립과 유사한 운동 시퀀스를 보여주지만 여전히 상당한 시각적 차이가 존재한다. 최적화 과정을 통해 파라미터 추정치가 정교해지며, 손실을 더욱 억제하고 비디오의 움직임을 더 밀접하게 모사하게 된다(Figure 17, 중간). 카메라 렌즈 왜곡을 고려하거나 공 사이의 페널티 기반 충돌 모델을 더 정확한 모델로 교체한다면 결과가 더욱 향상될 수 있으며, 이는 향후 과제로 남겨둔다.

적절한 접촉 처리를 포함한 미분 가능한 소프트 바디 시뮬레이션은 방대한 자유도와 접촉력 해결의 복잡성으로 인해 매우 어려운 문제이다. 우리는 이 연구 방향의 야심 찬 목표 중 하나가 실제 소프트 로봇의 설계 및 제어 최적화를 용이하게 할 수 있는 물리적으로 현실적인 시뮬레이터를 제공하는 것이라고 믿는다. Sim-to-Real 간극을 좁히기 위해, 현재 구현에 몇 가지 까다롭지만 가치 있는 개선 사항이 통합되어야 한다.

무엇보다도, 다른 Projective Dynamics (PD) 논문들과 마찬가지로, DiffPD의 주요 한계는 재질 모델의 에너지 함수에 대한 가정이다. PD에서 일반적인 하이퍼엘라스틱(hyperelastic) 재질을 지원하기 위한 기술적 솔루션이 존재하지만, 이를 DiffPD에 적용하는 것은 간단하지 않다. 하이퍼엘라스틱 재질 모델을 사용할 경우 역전파 과정에서 매 타임스텝마다 Hessian 행렬 $\nabla^2 E$를 다시 조립해야 하기 때문에 Section 4의 유도 과정이 무너지기 때문이다. 이 경우에도 반복 솔버를 적용할 수는 있지만, Figure 18에서 볼 수 있듯이 직접 솔버(direct solver) 대비 속도 향상이 관찰되지 않는다. 따라서 하이퍼엘라스틱 재질을 사용할 때는 DiffPD의 역전파를 직접 솔버로 전환하며, 이에 대한 가속화는 향후 과제로 남긴다.

둘째, 본 연구의 접촉 방법은 미분 가능한 상보성 기반 접촉 및 마찰을 완전히 해결하지 못한다. 본 논문의 초점 때문에 접촉 모델의 선택은 의도적으로 PD와의 호환성 및 미분 가능성 보장에 치우쳐 있었다. 정지 및 미끄럼 마찰력에 대한 접촉 모델을 업그레이드하거나, 효율성과 미분 가능성을 유지하면서 더 현실적인 접촉 모델을 적용하는 것이 더 정확하고 유용할 것이다.

셋째로 탐구할 가치가 있는 방향은 알고리즘의 확장성(scalability) 개선이다. 현재 본 논문의 가장 큰 예제는 수천 개의 요소와 수만 개의 자유도를 포함하고 있다. 더 복잡한 기하학적 구조의 효과를 탐구하기 위해 문제를 최소 1~2단계 더 큰 규모로 확장하는 것이 바람직하다. 이는 계산 비용이 많이 들 것이므로, 대규모 응용을 가능하게 하기 위해 DiffPD의 GPU 구현을 탐구하는 것이 흥미로울 것이다.

넷째, PD의 가정이 성립할 때 DiffPD가 표준 뉴턴 방법보다 실질적으로 빠르지만, 보행($locomotion$) 작업에서의 속도 향상은 4~19배가 아닌 4~6배로 비교적 낮다. 우리는 접촉의 포함이 순방향 시뮬레이션과 역전파 모두에서 DiffPD를 느리게 만든다고 의심한다. 따라서 Section 5의 희소 접촉(sparse contact) 가정에 대한 더 포괄적인 분석이 비효율성의 원인을 밝혀낼 수 있을 것이다. 특히, 이러한 가정을 제거하는 것은 천 시뮬레이션이나 조작($manipulation$)과 같이 접촉이 빈번한 응용 분야를 개척하는 데 매우 필요하다.

마지막으로, 그래디언트의 이점을 더 잘 활용할 수 있는 최적화 전략의 개선 여지가 있다. 모든 예제에서 우리는 그래디언트 정보를 그래디언트 기반 연속 최적화 방법과 결합했다. 이러한 방법은 본질적으로 지역적($local$)이기 때문에, 특히 손실 함수가 비볼록($non-convex$)한 지형을 가질 때 지역 최적점(local minima)에 조기 수렴하는 문제를 겪는다. 전역 최적화 방법이나 유전 알고리즘, 강화 학습과 같은 그래디언트 프리($gradient-free$) 전략의 아이디어를 결합하여 미분 가능한 시뮬레이션에 특화된 더 강력한 전역 최적화 알고리즘을 제시하는 것이 가치가 있을 것이다.