물리 시뮬레이터는 로봇 계획 및 제어에 널리 사용되어 왔습니다.

그중에서도 미분 가능한 시뮬레이터는 특히 선호되는데, 이는 최적 제어 및 모션 계획과 같은 역 문제를 해결하는 데 효율적인 경사 하강법 기반 최적화 알고리즘에 통합될 수 있기 때문입니다.

하지만, 변형 가능한 물체를 시뮬레이션하는 것은 강체 동역학에 비해 더 어렵습니다.

변형 가능한 물체의 기저에 있는 물리 법칙은 더 복잡하며, 그 결과 시스템은 훨씬 더 많은 자유도를 가지므로 시뮬레이션하는 데 계산 비용이 훨씬 더 많이 듭니다.

물리적 설계나 컨트롤러 파라미터에 대한 그래디언트를 계산하는 것은 일반적으로 훨씬 더 계산적으로 어렵습니다.

본 논문에서는 Moving Least Squares Material Point Method (MLS-MPM)에 기반한, 변형 가능한 물체를 위한 실시간, 미분 가능 하이브리드 라그랑지안-오일러리안 물리 시뮬레이터인 ChainQueen을 제안합니다.

MLS-MPM은 접촉을 포함한 변형 가능한 물체를 시뮬레이션할 수 있으며, 추론, 제어 및 공동 설계 시스템에 원활하게 통합될 수 있습니다.

우리는 우리의 시뮬레이터가 순방향 시뮬레이션과 역방향 그래디언트 계산 모두에서 높은 정밀도를 달성함을 보여줍니다.

우리는 약 3,000개의 결정 변수를 가진 문제를 포함하여, 소프트 로봇을 위한 다양한 제어 작업에 성공적으로 이를 적용했습니다.

로봇 계획 및 제어 알고리즘은 예측과 최적화를 위해 종종 물리 시뮬레이터에 의존합니다 Todorov/2012/Mujoco, Coumans/2016/PyBullet.

특히, 미분 가능한 물리 시뮬레이터는 경사 하강법 기반 최적화기의 사용을 가능하게 하여, 제어 효율성과 정밀도를 크게 향상시킵니다.

이에 동기를 부여받아, 근사적 Mordatch/2015/PPO, Chang/2017/Compositional Object-based 방법과 정확한 de Avila Belbute-Peres/2018/End-to-end, Overvelde/2017/Reconfigurable, Tracey/2015/Low-cost 방법을 사용하는 미분 가능한 강체 시뮬레이터에 대한 광범위한 연구가 있었습니다.

변형체에 대해서는 여전히 중요한 과제들이 남아있습니다.

첫째, 변형체의 움직임을 시뮬레이션하는 것은 느립니다. 왜냐하면 훨씬 더 높은 자유도(DoF)를 가지기 때문입니다.

둘째, 변형체의 경우 변화하는 기하학적 형태와 잠재적인 자가 충돌 때문에 접촉 감지 및 해결이 어렵습니다.

셋째, 접촉이 있는 상황에서 경사도의 폐쇄형(closed-form) 및 효율적인 계산이 어렵습니다.

결과적으로, 연성체를 위한 현재의 시뮬레이션 방법들은 최적 제어나 모션 계획과 같은 역 문제를 해결하는 데 효과적으로 사용될 수 없습니다.

본 논문에서는 Moving Least Squares Material Point Method (MLS-MPM) Hu/2018/MLS-MPM을 기반으로 하는 변형체를 위한 실시간, 미분 가능한 물리 시뮬레이터를 소개합니다.

우리는 이 시뮬레이터를 ChainQueen∗이라고 명명합니다.

Material Point Method (MPM)은 시뮬레이션을 위해 입자와 그리드 노드를 모두 사용하는 하이브리드 라그랑지안-오일러리안 방법입니다 Sulsky/1994/MPM.

MLS-MPM은 이동 최소 제곱 힘 이산화를 사용하여 기존 MPM을 가속화하고 단순화합니다.

ChainQueen에서는 상태 및 모델 파라미터 모두에 대해 최초로 완전 미분 가능한 MLS-MPM 시뮬레이터를 소개하며, 순방향 시뮬레이션과 역전파 모두 GPU에서 효율적으로 실행됩니다.

우리는 전체 시뮬레이션에 대한 경사도를 효율적으로 계산하는 능력을 보여줍니다.

이는 최적화 기반 폐쇄 루프 컨트롤러 설계, 궤적 최적화, 로봇 기하학, 재료 및 제어의 공동 설계 등 소프트 로보틱스를 위한 많은 새로운 응용을 가능하게 합니다.

입자-그리드 기반 하이브리드 시뮬레이터로서, MPM은 물과 같은 액체, 모래와 같은 입상 재료, 눈이나 인체 조직과 같은 탄소성 재료 등 다양한 상태의 물체를 시뮬레이션합니다.

ChainQueen은 소프트 로보틱스를 위한 탄성 재료에 중점을 둡니다.

이것은 완전 미분 가능하며 현재 최첨단 기술보다 4-9배 더 빠릅니다.

수치 및 실험적 검증은 ChainQueen이 순방향 시뮬레이션과 역방향 경사도 계산 모두에서 높은 정밀도를 달성함을 시사합니다.

ChainQueen의 미분 가능성은 제어 및 시스템 식별을 위한 경사 하강법 기반 최적화를 지원할 수 있게 합니다.

컨트롤러 파라미터에 대한 경사 하강법을 수행함으로써, 우리 시뮬레이터는 목표가 주어진 3D 소프트 워커 컨트롤러를 최적화하는 것과 같은 다양하고 복잡한 작업에서 이러한 역 문제를 해결할 수 있습니다.

유사하게, 물리적 설계 파라미터에 대한 경사 하강법은 물체의 물리적 속성(예: 질량, 밀도, 영률)을 추론하고 원하는 작업을 위한 설계를 최적화하는 것을 가능하게 합니다.

ChainQueen의 성능을 벤치마킹하고 다양한 역 문제에 대한 능력을 입증하는 것 외에도, 우리는 ChainQueen을 사용자 친화적으로 만들기 위해 시뮬레이터를 상위 수준의 파이썬 스크립트와 인터페이스했습니다.

모든 수준의 사용자는 시뮬레이터의 낮은 수준의 세부 사항을 이해할 필요 없이 우리 시뮬레이터를 사용하여 자신만의 소프트 로보틱스 시스템을 개발할 수 있을 것입니다.

우리는 코드와 데이터를 오픈 소스로 공개할 것이며, 이것이 로보틱스 커뮤니티에 도움이 되기를 바랍니다.

물질점법(Material point method)은 고체 역학(Sulsky/1994/SolidMech)과 컴퓨터 그래픽스(Stomakhin/2013/Graphics) 관점 모두에서 광범위하게 개발되어 왔습니다. 하이브리드 오일러리안-라그랑지안 방법으로서, MPM은 눈(Stomakhin/2013/Snow, Jiang/2016/Snow), 모래(Klár/2016/Sand, Daviet/2016/Sand), 비뉴턴 유체(Ram/2015/Fluids), 천(Jiang/2017/Cloth, Fei/2018/Cloth), 고체-유체 커플링(Tampubolon/2017/Coupling, Gao/2018/Coupling), 강체 커플링, 그리고 절단(Hu/2018/MLS-MPM) 시뮬레이션에서 그 다재다능함을 입증해왔습니다. Fang/2018/AdaptiveMPM은 또한 관심 영역에 계산 자원을 집중시키기 위한 적응형 MPM 기법을 제안했습니다.

소프트 로보틱스에 MPM을 사용하는 것에는 많은 이점이 있습니다. 첫째, MPM은 기반이 탄탄하고 물리적으로 정확한 이산화 방법이며, 보존 법칙의 약한 형태(weak form)를 통해 유도될 수 있습니다. 이러한 물리 기반 접근법은 시뮬레이션을 실제 실험과 일치시키기 더 쉽게 만듭니다. 둘째, MPM은 현대 하드웨어 아키텍처에서의 병렬화에 친화적입니다. 우리의 연구와 밀접하게 관련된 것은 Gao 등의 고성능 GPU 구현(Gao/2018/GPU-MPM)이며, 우리는 여기서 많은 유용한 최적화 기법을 차용했습니다. 순방향 시뮬레이션을 해결할 때는 효율적이지만, 그들의 시뮬레이터는 미분 가능하지 않아 로보틱스와 학습에서의 역 문제(inverse problem)에 비효율적입니다. 셋째, MPM은 소프트 로보틱스에서 흔하지만 예를 들어 메시 기반 접근법에서는 계산 비용 때문에 종종 모델링되지 않는 큰 변형과 (자체)충돌을 자연스럽게 처리합니다. 마지막으로, 연속체 동역학(소프트 객체 충돌 포함)은 매끄럽고 (미분 가능한) 포텐셜 에너지에 의해 지배되므로, 전체 시스템을 미분 가능하게 만듭니다.

우리의 시뮬레이터인 ChainQueen은 완전 미분 가능하며, MPM을 소프트 로보틱스에 적용한 최초의 시뮬레이터입니다.

최근, 계획 및 제어를 위한 미분 가능 시뮬레이터를 구축하는 데 대한 관심이 증가하고 있습니다. 강체의 경우, Chang/2016/NN-Physics, Degrave/2016/NN-Physics, Watters/2017/NN-Physics는 신경망으로 객체 상호작용을 근사할 것을 제안했고, 이후 Sanchez-Gonzalez/2018/NN-Control은 제어에서의 사용법을 탐구했습니다. 근사적인 해석적 미분 가능 강체 시뮬레이터 또한 제안되었습니다(Todorov/2014/AnalyticDiff, deAvilaBelo/2018/AnalyticDiff). 이러한 시스템들은 조작 및 계획에 배치되었습니다(Toussaint/2018/Manipulation).

변형 가능 객체를 위한 미분 가능 시뮬레이터는 덜 연구되었습니다. 최근, Li/2018/SPNets는 위치 기반 유체(Macklin/2013/PBF)의 미분 가능 시뮬레이션을 위해 SPNets를 제안했습니다. 입자 상호작용은 신경망 연산으로 코딩되며 미분 가능성은 파이토치(PyTorch)의 자동 미분을 통해 달성됩니다. 신경망을 사용한 계층적 입자 기반 객체 표현 또한 Watters/2017/NN-Physics에서 제안되었습니다. 신경망을 사용하여 물리를 근사하는 대신, ChainQueen은 연속체 역학에서 파생된 물리적으로 잘 정립된 이산화 기법인 MLS-MPM을 미분합니다. 요약하자면, 우리의 시뮬레이터는 더 다양한 객체 집합에 사용될 수 있고, 더 물리적으로 타당하며, 더 빠르게 실행됩니다.

물질점법(Material Point Method)은 고체 역학 Sulsky/1994/Solid Mechanics MPM과 컴퓨터 그래픽스 Stomakhin/2013/Graphics MPM 관점에서 광범위하게 개발되어 왔습니다.

하이브리드 오일러리안-라그랑지안 방법으로서, MPM은 눈Stomakhin/2013/Snow Simulation, Jiang/2016/Snow Simulation, 모래Klár/2016/Sand Simulation, Daviet/2016/Sand Simulation, 비뉴턴 유체Gerszewski/2015/Non-Newtonian Fluids, 천Jiang/2017/Cloth Simulation, Fei/2018/Cloth Simulation, 고체-유체 커플링Tampubolon/2017/Solid-Fluid Coupling, Yue/2015/Solid-Fluid Coupling, 강체 커플링, 그리고 절단Hu/2018/MLS-MPM 시뮬레이션에서 그 다재다능함을 입증해왔습니다.

Fang/2018/Adaptive MPM은 또한 관심 영역에 계산 자원을 집중시키기 위한 적응형 MPM 기법을 제안했습니다.

소프트 로보틱스에 MPM을 사용하면 많은 이점이 있습니다.

첫째, MPM은 물리적으로 정확하고 체계가 잘 잡힌 이산화 방법이며, 보존 법칙의 약한 형태(weak form)를 통해 유도될 수 있습니다.

이러한 물리 기반 접근 방식은 시뮬레이션을 실제 실험과 일치시키기 더 쉽게 만듭니다.

둘째, MPM은 현대 하드웨어 아키텍처에서의 병렬화에 친화적입니다.

우리의 연구와 밀접하게 관련된 것은 Gao 등의 고성능 GPU 구현Gao/2018/GPU MPM이며, 우리는 이로부터 많은 유용한 최적화 기법을 차용했습니다.

순방향 시뮬레이션을 해결할 때는 효율적이지만, 그들의 시뮬레이터는 미분 가능하지 않아 로보틱스와 학습에서의 역 문제를 해결하는 데 비효율적입니다.

셋째, MPM은 소프트 로보틱스에서 흔히 발생하지만 예를 들어 메쉬 기반 접근법에서는 계산 비용 때문에 종종 모델링되지 않는 큰 변형과 (자체) 충돌을 자연스럽게 처리합니다.

마지막으로, (연성체 충돌을 포함한) 연속체 동역학은 매끄럽고 미분 가능한 포텐셜 에너지에 의해 지배되므로, 전체 시스템을 미분 가능하게 만듭니다.

우리의 시뮬레이터인 ChainQueen은 완전 미분 가능하며, MPM을 소프트 로보틱스에 적용한 최초의 시뮬레이터입니다.

최근, 계획 및 제어를 위한 미분 가능한 시뮬레이터를 구축하는 데 대한 관심이 증가하고 있습니다. 강체에 대해서는, Degrave/2016/Learning to Control, Chang/2016/Compositional VAEs, 그리고 Watters/2017/Visual Interaction Networks에서 신경망으로 물체 상호작용을 근사하는 방법을 제안했으며, 이후 Belbute-Peres/2018/End-to-end에서는 제어 분야에서의 활용을 탐구했습니다. 근사적인 해석적 미분 가능 강체 시뮬레이터 또한 제안되었습니다 [Todorov/2014/Convex and Analytically-Invertible, de Avila Belbute-Peres/2018/End-to-end]. 이러한 시스템들은 조작 및 계획에 적용되어 왔습니다 [Toussaint/2018/Differentiable Physics].

변형 가능한 물체를 위한 미분 가능 시뮬레이터는 비교적 덜 연구되었습니다. 최근, Li/2018/SPNets는 위치 기반 유체[Macklin/2013/Position Based Fluids]의 미분 가능한 시뮬레이션을 위해 SPNets를 제안했습니다. 입자 상호작용은 신경망 연산으로 코딩되며, 미분 가능성은 PyTorch의 자동 미분을 통해 달성됩니다. 신경망을 이용한 계층적 입자 기반 물체 표현법 또한 Watters/2017/Visual Interaction Networks에서 제안되었습니다. 신경망을 사용하여 물리를 근사하는 대신, ChainQueen은 연속체 역학에서 유도된 물리적으로 잘 정립된 이산화 기법인 MLS-MPM을 미분합니다. 요약하자면, 저희 시뮬레이터는 더 다양한 종류의 물체에 사용될 수 있으며, 더 물리적으로 타당하고, 더 빠르게 실행됩니다.

우리는 연속체 역학(continuum mechanics)을 이산화하기 위해 Moving Least Squares Material Point Method (MLS-MPM) Hu/2018/MLS-MPM을 사용하며, 이는 다음 두 방정식으로 제어됩니다:

여기서는 MLS-MPM의 기초를 간략히 다루며, 독자들은 MPM과 MLS-MPM에 대한 포괄적인 소개를 위해 각각 Stomakhin/2013/Snow Simulation과 Hu/2018/MLS-MPM을 참조하시기 바랍니다. Material Point Method (MPM)는 입자와 격자 노드를 모두 사용하는 하이브리드 Eulerian-Lagrangian 방법입니다. 시뮬레이션 상태 정보는 이 두 표현 방식 사이에서 앞뒤로 전달됩니다. 본 논문에서 사용하는 표기법을 표 IV에 요약했습니다. 아래 첨자는 입자(p)와 격자 노드(i)를 나타내는 데 사용되며, 위 첨자(n, n + 1)는 다른 시간 단계의 양을 구별하는 데 사용됩니다. MLS-MPM 시뮬레이션 주기는 세 단계로 이루어집니다:

1) 입자-격자 전달 (Particle-to-grid transfer, P2G). 입자들은 질량 $m_p$, 운동량 $(mv)^n_p$, 그리고 응력에 의해 기여된 충격량을 Affine Particle-in-Cell (APIC) 방법 Jiang/2015/APIC과 moving least squares 힘 이산화 Hu/2018/MLS-MPM를 사용하여 이웃 격자 노드로 전달합니다. 이는 컴팩트한 B-스플라인 커널 $N$에 의해 가중치가 적용됩니다:

2) 격자 연산 (Grid operations). 격자 운동량은 격자 질량으로 나누어 격자 속도로 정규화됩니다:

이웃한 입자들은 공유된 격자 노드를 통해 서로 상호작용하며, 충돌은 자동으로 처리됩니다. 여기서는 단순화를 위해 경계 조건과 중력은 생략합니다.

3) 격자-입자 전달 (Grid-to-particle transfer, G2P). 입자들은 업데이트된 속도 $v_p^{n+1}$, 지역 속도장 그래디언트 $C_p^{n+1}$, 그리고 위치 $x_p^{n+1}$를 모읍니다. 구성 모델 속성(예: 변형 그래디언트 $F_p^{n+1}$)이 업데이트됩니다.

소프트 로보틱스를 위해, 우리는 추가적으로 작동 모델(actuation model)을 도입합니다. Mosadegh/2014/Pneumatic Networks와 같은 액추에이터에서 영감을 받아, 우리는 추가적인 코시 응력(Cauchy stress) $A_p = F_p \sigma_p^a F_p^T$를 통해 입자 $p$를 팽창시키거나 늘리는 작동 모델을 설계했습니다. 여기서 $\sigma_p^a = \text{Diag}(a_x, a_y, a_z)$는 재료 공간에서의 응력입니다. 이 프레임워크는 공압, 유압, 케이블 구동 액추에이터를 포함한 다른 미분 가능한 작동 모델의 사용을 지원합니다. 그림 1은 순방향 시뮬레이션과 역전파를 보여줍니다.

MLS-MPM은 자연스럽게 미분 가능합니다. 순방향은 컴퓨터 그래픽스에서 광범위하게 사용되었지만, 역방향(미분 또는 역전파)은 거의 탐구되지 않았습니다.

우리가 분석적으로 유도한 그래디언트를 기반으로, 우리는 전통적인 순방향 MPM 주기를 닮은 고성능 구현을 설계했습니다: 역방향 P2G (입자 그래디언트를 격자로 흩뿌리기), 격자 연산, 그리고 역방향 G2P (격자 그래디언트를 입자로 모으기).† 한 타임 스텝의 끝에서의 상태에 대한 그래디언트를 시작 시점의 상태에 대해 연쇄 법칙(chain rule)을 사용하여 계산할 수 있습니다. 단일 단계 그래디언트가 계산되면, 최종 상태에서 초기 상태까지 더 높은 수준에서 연쇄 법칙을 적용하면 초기 상태에 대한 최종 상태의 그래디언트뿐만 아니라 각 상태에서 사용된 컨트롤러 매개변수에 대한 그래디언트도 얻을 수 있습니다. 우리는 "메모(memo)" 객체를 사용하여 모든 시뮬레이션 상태를 메모리에 캐시합니다. 내부적인 미분은 복잡하지만, 최종 사용자가 자신의 애플리케이션을 구축할 수 있는 간단한 고수준 텐서플로우 인터페이스를 설계했습니다 (그림 2).

우리의 고성능 구현‡은 CUDA를 통해 최신 GPU의 계산 능력을 활용합니다. 우리는 또한 텐서플로우에 참조 구현을 구현했습니다. 텐서플로우와 같은 고수준 프레임워크를 사용하여 물리 시뮬레이션을 "계산 그래프"로 프로그래밍하는 것은 비효율적이라는 점에 유의해야 합니다. 사실, 모든 오버헤드를 제거했을 때, 우리의 최적화된 CUDA 솔버는 텐서플로우 참조 버전보다 132배 더 빠릅니다. 이는 텐서플로우가 데이터 세분성이 훨씬 크고 메모리 접근 패턴이 물리 시뮬레이션보다 훨씬 더 규칙적이며, CPU-GPU 대역폭이 제한적인 딥러닝 애플리케이션에 최적화되어 있기 때문입니다. 대조적으로, 우리의 CUDA 구현은 MLS-MPM에 맞춰져 있으며 병렬성과 지역성을 위해 명시적으로 최적화되어 높은 성능을 제공합니다.

본 섹션에서는 우리 시스템의 효율성과 정확성을 2D와 3D 환경 모두에서 종합적으로 연구합니다.

복잡한 기하학적 구조 대신, 간단한 낙하하는 정육면체를 성능 벤치마킹에 사용하여 분석과 재현의 용이성을 보장합니다.

우리는 우리의 CUDA 시뮬레이터 성능을 변형 가능한 객체를 시뮬레이션할 수 있는 유명한 PBD (위치 기반 동역학) 물리 시뮬레이터인 NVIDIA Flex NVIDIA/2014/Flex와 비교하여 벤치마킹합니다.

참고로, PBD와 MLS-MPM 모두 높은 강성을 보장하기 위해 서브스테핑 반복(substepping iterations)이 필요합니다.

공정한 비교를 위해, ChainQueen이 시각적으로 Flex와 유사한 결과를 내도록 영률(Young’s modulus), 푸아송 비(Poisson’s ratio), 밀도를 설정했습니다.

우리는 Flex에서 프레임당 2개의 스텝과 스텝당 4개의 반복을 사용했습니다.

참고로, PBD에는 영률과 같은 물리량이 명시적으로 정의되어 있지 않기 때문에 정확히 동일한 파라미터를 설정하는 것은 불가능합니다.

정량적 성능은 표 2에 요약되어 있습니다.

우리의 CUDA 시뮬레이터는 입자 수가 같을 때 Flex보다 더 높은 속도를 제공합니다.

또한 TensorFlow 구현은 과도한 런타임 오버헤드로 인해 훨씬 느리다는 점도 주목할 가치가 있습니다.

복잡한 기하학적 구조 대신, 간단히 낙하하는 정육면체를 성능 벤치마킹에 사용하여 분석과 재현의 용이성을 확보했습니다. 저희는 CUDA 시뮬레이터의 성능을 변형 가능한 객체를 시뮬레이션할 수 있는 유명한 PBD 물리 시뮬레이터인 NVIDIA Flex NVIDIA/2014/Flex와 비교하여 벤치마킹했습니다. 높은 강성을 보장하기 위해서는 PBD와 MLS-MPM 모두 서브스테핑 반복이 필요하다는 점에 유의해야 합니다. 공정한 비교를 위해, ChainQueen이 시각적으로 Flex와 유사한 결과를 보이도록 영률, 푸아송 비, 밀도를 설정했습니다. 저희는 Flex에서 프레임당 2개의 스텝과 스텝당 4개의 반복을 사용했습니다. PBD에는 영률과 같은 물리량이 명시적으로 정의되어 있지 않기 때문에 정확히 동일한 파라미터를 설정하는 것은 불가능하다는 점에 유의해야 합니다.

정량적 성능은 표 II에 요약되어 있습니다. 저희의 CUDA 시뮬레이터는 입자 수가 동일할 때 Flex보다 더 높은 속도를 제공합니다. 또한 TensorFlow 구현은 과도한 런타임 오버헤드로 인해 훨씬 느리다는 점도 주목할 가치가 있습니다.

우리는 순방향 시뮬레이션과 역방향 그래디언트 평가 양쪽의 정확도를 평가하기 위해 다섯 가지 테스트 케이스를 설계했습니다:

1) A1 (해석적, 3D, float32 정밀도): 초기 속도에 대한 최종 위치 (충돌 포함). 이 케이스는 운동량 보존, 그래디언트 정확도, 그리고 역전파의 안정성을 테스트합니다.

2) A2 (해석적, 3D, float32 정밀도): A1과 동일하지만 마찰 없는 벽과 한 번 충돌하는 경우입니다.

3) B (수치적, 2D, float64 정밀도): 당구공 충돌. 이 케이스는 해석적 해가 존재하지 않는 더 복잡한 경우에서의 그래디언트 정확도와 안정성을 테스트합니다. 우리는 정확한 유한 차분 결과를 위해 float64 정밀도를 사용했습니다.

4) C (수치적, 2D, float64 정밀도): 핑거 컨트롤러. 이 케이스는 전체 시뮬레이션 과정에서 반복적으로 사용되는 컨트롤러 파라미터의 그래디언트 정확도를 테스트합니다.

5) D1 (실험적, 공압 액추에이터, 작동) 우리 시뮬레이터의 실세계 정확도를 평가하기 위해, 우리는 물리적 액추에이터의 변형을 가상 액추에이터와 비교했습니다. 물리적 액추에이터는 십자 형태로 배열된 네 개의 공압 챔버를 가지고 있으며, 외부 펌프로 공기를 주입할 수 있습니다. 개별 챔버에 공기를 주입하면 해당 챔버에서 멀어지는 방향으로 액추에이터가 구부러집니다. 액추에이터는 Smooth-On Dragon Skin 30을 사용하여 주조되었습니다.

6) D2 (실험적, 공압 액추에이터, 바운싱) 두 번째 테스트에서는 동일한 액추에이터를 15cm 높이에서 떨어뜨려 그 동적 움직임을 시뮬레이션과 비교했습니다.

초기 속도에 대한 그래디언트를 직접 평가할 수 있는 3D 해석적 테스트 케이스의 결과는 표 3과 같습니다. 실험적 비교 결과는 그림 3에 나와 있습니다. 우리 시뮬레이터의 높은 성능과 정확도 외에도, 그래디언트가 최대 1000 타임스텝까지 장기적으로 안정적으로 유지된다는 점은 주목할 가치가 있습니다.

그래디언트가 최대 1000 타임스텝까지 장기적으로 안정적으로 유지된다는 점은 주목할 가치가 있습니다.

우리 시뮬레이터의 가장 매력적인 특징은 빠르게 계산 가능한 그래디언트의 존재이며, 이는 훨씬 더 효율적인 경사 하강법 기반 최적화 알고리즘의 사용을 가능하게 합니다.

본 섹션에서는 미분 가능 시뮬레이터의 효과를 물리적 추론, 소프트 로보틱스를 위한 제어, 로봇 팔의 공동 설계를 포함한 경사 하강법 기반 최적화 작업에서 보여줍니다.

다리. 행 (A, B)는 15cm 높이에서 다리를 떨어뜨리는 바운싱 실험의 영상과 시뮬레이터 결과입니다. 행 (C, D)는 작동 테스트입니다.

ChainQueen은 관찰된 움직임이 주어졌을 때 시스템의 물리적 속성을 추론하는 데 사용될 수 있습니다. 예를 들어, 두 개의 충돌하는 탄성 공의 상대 밀도를 추론하기 위해 경사 하강법을 수행할 수 있습니다 (위 그림 참조, 공 A가 오른쪽으로 움직여 공 B와 충돌하고, 공 B는 목적지 C에 도달함).

경사 하강법 기반 최적화는 공 A의 상대 밀도가 2.26이라고 추론하며, 이는 공 B를 C로 밀어내는 데 정확한 운동량을 구성합니다.

이러한 능력은 시스템 식별과 같은 실제 로봇 공학 작업에 유용합니다.

우리는 소프트 로봇을 위한 회귀 기반 컨트롤러를 최적화하고 안정적인 보행 패턴을 효율적으로 발견할 수 있습니다.

우리는 소프트 로봇을 위한 회귀 기반 컨트롤러를 최적화하고 안정적인 보행 패턴을 효율적으로 발견할 수 있습니다. 컨트롤러는 목표 위치, 무게 중심 위치, 그리고 각 소프트 구성 요소의 속도를 포함하는 상태 벡터 $z$를 입력으로 받습니다. 우리의 예시에서는, 최대 16개의 액추에이터에 대한 작동 벡터 $a$가 매 타임 스텝마다 컨트롤러에 의해 생성됩니다. 최적화 과정 동안, 우리는 변수 $W$와 $b$에 대해 경사 하강법을 수행하며, 여기서 $a = \tanh (Wz + b)$는 작동을 생성하는 컨트롤러입니다.

우리는 2D 이족 보행 로봇(그림 4)과 로봇 손가락, 그리고 3D 사족 보행 로봇(그림 6), 크롤러, 로봇 팔을 포함한 일련의 실험을 설계했습니다. 그래디언트 기반 최적화기는 단 수십 또는 수백 번의 반복만으로 원하는 컨트롤러를 성공적으로 계산해냅니다. 시각적 결과는 보충 비디오에 포함되어 있습니다.

그래디언트 기반 접근법의 장점을 강조하기 위해, 우리는 우리의 제어 방법을 최첨단 강화학습 알고리즘인 Proximal Policy Optimization (PPO) Sutton/2018/PPO와 비교합니다. PPO는 정책을 최적화하기 위해 보상 함수의 샘플링된 그래디언트에 의존하는 액터-크리틱 방법입니다. 이 샘플링 기반 접근법은 모델-프리(model-free)입니다. 즉, 업데이트를 위해 컨트롤러 파라미터에 대한 보상의 그래디언트에 의존하지만, 물리 모델에 대한 그래디언트에는 의존하지 않습니다. 비교를 위해, 우리는 목표 방향으로 투영된 속도를 보상으로 사용합니다.§ 우리는 그림 5의 단순화된 단일 링크 버전(인접한 두 개의 액추에이터만 사용)과 그림 4의 2D 주자를 벤치마크로 사용합니다. 손가락에 대한 정량적 결과는 그림 7에 나와 있습니다. 우리는 2D 보행 로봇에 대해 유사한 비교를 수행했는데, ChainQueen으로 최적화된 2D 보행 로봇의 컨트롤러는 20분 이내에 잘 작동하기 시작했습니다. 반면, PPO에 의해 복구된 정책은 4시간 이상의 훈련 후에도 여전히 거의 무작위적인 행동을 선택했습니다. 이는 특정 소프트 로봇 이동 작업에서 우리의 그래디언트 기반 방법이 모델-프리 접근법보다 더 효율적일 수 있음을 보여줍니다.

4시간 이상의 훈련 후에도 거의 무작위적인 행동을 선택한 것과 비교하면, 이는 특정 소프트 로봇 보행 과제에서 우리의 경사도 기반 방법이 모델 프리 접근법보다 더 효율적일 수 있음을 보여줍니다.

저희 시뮬레이터는 동역학 및 컨트롤러 파라미터에 대한 경사도를 제공할 수 있을 뿐만 아니라, 구조 설계 파라미터에 대한 경사도도 제공하여 소프트 로봇의 통합 설계를 가능하게 합니다. 이를 입증하기 위해, 우리는 다중 링크 로봇 팔(두 개의 링크, 각각 두 개의 나란한 액추에이터가 있는 두 개의 관절; 모든 부품은 변형 가능)을 설계했습니다. 슈팅 방법 궤적 최적화와 유사하게, 각 시간 스텝에 대한 액추에이션은 각 입자에 대한 시스템의 시간 불변 영률(Young’s modulus)과 함께 해결됩니다. 저희 과제에서는, 팔의 말단 장치가 최종 팔 속도 0으로 목표 공에 도달하도록 최적화했으며, 액추에이션 비용 $\sum_{i=0}^{N} u_i^T u_i dt$를 최소화했습니다. 여기서 $u_i$는 시간 스텝 $i$에서의 액추에이션 벡터이고, $N$은 총 시간 스텝 수입니다. 이것은 동적 과제이며 목표 자세는 정적 평형 상태에서 도달할 수 없습니다.

NLOPT의 순차 최소 제곱 프로그래밍 알고리즘이 최적화에 사용되었습니다 Johnson/2014/NLOPT. 우리는 우리의 통합 설계 솔루션을 고정된 설계와 비교했습니다. 설계된 강성 분포는 제어와 함께 Fig. 5에 나와 있습니다. 다른 과제에 대한 수렴은 Fig. 8에서 볼 수 있습니다. 보시다시피, 오직 통합 설계 팔만이 목표 지점에 완전히 수렴하며, 더 낮은 액추에이션 비용으로 이를 달성합니다. 각 챔버에 대한 액추에이션은 제한되었으며, 무차원 초기 영률의 30%에서 400% 범위가 허용되었고, 단순한 구부림 대신 스윙이 필요할 만큼 충분히 크게 선택되었습니다.

고정된 것으로 간주되며, 단순한 굽힘 대신 스윙이 필요할 정도로 충분히 큰 무차원 초기 영률의 30%에서 400% 범위가 허용되고 선택되었습니다.

저희는 소프트 로보틱스를 위한 미분 가능한 시뮬레이터인 ChainQueen을 제시했으며, 이것이 어떻게 추론, 제어, 공동 설계에 사용될 수 있는지 시연했습니다.

ChainQueen은 소프트 로봇의 개발을 가속화할 잠재력을 가지고 있습니다.

저희는 또한 ChainQueen을 위한 고성능 GPU 구현을 개발했으며, 이를 오픈 소스로 공개할 계획입니다.

한 가지 흥미로운 미래 연구 방향은 Hu/2018/MLS-MPM에서 수행된 것처럼 우리의 연성 물체 시뮬레이션을 강체 시뮬레이션과 결합하는 것입니다.

Belytschko/2013/Nonlinear Finite Elements에서 유도된 바와 같이, 명시적 시간 적분을 위한 $\Delta t$ 한계는 $C\Delta x \sqrt{\rho/E}$이며, 여기서 $C$는 1에 가까운 상수이고, $\rho$는 밀도, $E$는 영률입니다.

이는 강체와 같이 매우 단단한 재료의 경우, 매우 제한적인 $\Delta t$만 사용할 수 있음을 의미합니다.

그러나 거의 강체에 가까운 물체의 영역에서는 강체 시뮬레이터를 사용하고 이를 우리의 변형체 시뮬레이터와 결합하는 것이 아마도 바람직할 것입니다.

우리의 시뮬레이터를 Compatible Particle-in-Cell Hu/2018/MLS-MPM을 사용하는 기존 강체 시뮬레이터와 결합하는 것은 흥미로운 방향이 될 수 있습니다.

통찰력 있는 논의를 해주신 Chenfanfu Jiang, Ming Gao, Kui Wu에게 감사의 말씀을 전합니다.

이 문서에서는 ChainQueen에서의 역방향 그래디언트 계산, 즉 미분 가능한 Moving Least Squares Material Point Method (MLS-MPM) Hu/2018/MLS-MPM에 대한 상세한 단계를 논의합니다.

다시 한번, 표 IV에 표기법을 요약합니다.

단순화를 위해 입자 질량 $m_p$, 부피 $V_p^0$, 초탄성 구성 모델(포텐셜 에너지 $\psi_p$ 또는 영률 $E_p$와 포아송 비 $\nu_p$ 사용)은 고정되어 있다고 가정합니다.

MLS-MPM의 시간 전진(time stepping)은 다음과 같이 정의됩니다:

MLS-MPM의 시간 전진(time stepping)은 다음과 같이 정의됩니다:

순방향 변수 의존성은 다음과 같습니다:

$x^{n+1}_p \leftarrow x^n_p, v^{n+1}_p$

$v^{n+1}_p \leftarrow x^n_p, v^n_i$

$C^{n+1}_p \leftarrow x^n_p, v^n_i$

$F^{n+1}_p \leftarrow F^n_p, C^{n+1}_p$

$p^n_i \leftarrow x^n_p, C^n_p, v^n_p, P^n_p, F^n_p$

$v^n_i \leftarrow p^n_i, m^n_i$

$P^n_p \leftarrow F^n_p, \sigma^n_{pa}$

$m^n_i \leftarrow x^n_p$

역전파(back-propagation) 중에는 다음과 같은 역방향 변수 의존성을 가집니다:

$x^{n+1}_p, v^{n+1}_p, C^{n+1}_p, p^{n+1}_i, m_i \leftarrow x^n_p$

$p^n_i \leftarrow v^n_p$

$x^{n+1}_p \leftarrow v^{n+1}_p$

$v^{n+1}_p, C^{n+1}_p \leftarrow v^n_i$

$F^{n+1}_p, P^n_p, p^n_i \leftarrow F^n_p$

$F^{n+1}_p \leftarrow C^{n+1}_p$

$p^n_i \leftarrow C^n_p$

$v^n_i \leftarrow p^n_i$

$v^n_i \leftarrow m^n_i$

$p^n_i \leftarrow P^n_p$

$P^n_p \leftarrow \sigma^n_{pa}$

미분 유도를 더 쉽게 하기 위해 방정식의 양변을 바꿉니다:

$x^n_p \rightarrow x^{n+1}_p, v^{n+1}_p, C^{n+1}_p, p^{n+1}_i, m_i$

$v^n_p \rightarrow p^n_p$

$v^{n+1}_p \rightarrow x^{n+1}_p$

$v^n_i \rightarrow v^{n+1}_p, C^{n+1}_p$

$F^n_p \rightarrow F^{n+1}_p, P^n_p, p^n_i$

$C^{n+1}_p \rightarrow F^{n+1}_p$

$C^n_p \rightarrow p^n_i$

$p^n_i \rightarrow v^n_i$

$m^n_i \rightarrow v^n_i$

$P^n_p \rightarrow p^n_i$

$\sigma^n_{pa} \rightarrow P^n_p$

다음 섹션에서는 실제 그래디언트 계산 순서에 따라 상세한 그래디언트 관계를 유도합니다. 마찰 경계 조건 그래디언트는 덜 중요하기 때문에 마지막으로 미루지만, 계산 중에는 격자 연산에 속합니다. ChainQueen에서의 역전파(Back-propagation)는 본질적으로 순방향 시뮬레이션의 역과정입니다. 이 계산은 역방향 입자-격자 전달(backward P2G), 역방향 격자 연산(backward grid operations), 그리고 역방향 격자-입자 전달(backward G2P)의 세 단계로 구성됩니다.

P2G), 역방향 격자 연산, 그리고 역방향 입자-격자 전달(G2P)이 있습니다.

(A, P2G) $v^{n+1}_p$에 대해 다음을 얻습니다:

(B, P2G) $C^{n+1}_p$에 대해 다음을 얻습니다:

참고로, 위의 두 그래디언트는 다음 시간 단계 $n$에 대한 $\frac{\partial L}{\partial v^n_p}$와 $\frac{\partial L}{\partial C^n_p}$의 기여도도 각각 포함해야 합니다.

(C, P2G) $v^n_i$에 대해 다음을 얻습니다:

(D, grid) $p^n_i$에 대해 다음을 얻습니다:

(E, grid) $m^n_i$에 대해 다음을 얻습니다:

(E, 격자) 격자 질량 $m_i^n$에 대해 다음이 성립합니다:

따라서 손실 함수 $L$의 $m_i^n$에 대한 그래디언트는 연쇄 법칙을 사용하여 다음과 같이 유도됩니다.

...이전 수식에 이어서

따라서,

(H, G2P) 변형 구배 $F_p^n$에 대하여, 우리는 다음 관계를 가집니다:

따라서,

(I, G2P) 아핀 속도장 $C_p^n$에 대하여, 우리는 다음 관계를 가집니다:

따라서,

(J, G2P) 입자 위치 $x_p^n$에 대하여, 우리는 다음 관계를 가집니다:

따라서,

(K, G2P) 작동 응력 $\sigma_{pa}^n$에 대하여, 우리는 다음 관계를 가집니다:

따라서,

경계 조건이 있을 때:

(L, grid) 격자 속도 $v_i^n$에 대하여, 우리는 다음 관계를 가집니다:

따라서,

Fig 1: MLS-MPM의 한 타임 스텝. 위쪽 화살표는 순방향 시뮬레이션을, 아래쪽 화살표는 역전파를 나타냅니다. 입자 구성을 바탕으로 작동을 생성하기 위해 P2G 프로세스에 컨트롤러가 내장되어 있습니다. 소프트 로보틱스를 위해 추가적으로 작동 모델을 도입했습니다. [29]와 같은 액추에이터에서 영감을 받아, 추가적인 코시 응력 Ap = FpσpaFT p (여기서 σpa = Diag(ax, ay, az)는 재료 공간에서의 응력)를 통해 입자 p를 팽창시키거나 늘리는 작동 모델을 설계했습니다. 이 프레임워크는 공압, 유압, 케이블 구동 액추에이터를 포함한 다른 미분 가능한 작동 모델의 사용을 지원합니다.

Table 2: NVIDIA GTX 1080 Ti GPU에서의 성능 비교. F는 순방향 시뮬레이션, B는 역방향 미분을 의미합니다. TF는 텐서플로우 구현을 나타냅니다. CUDA로 시뮬레이터를 벤치마킹할 때, 텐서플로우 런타임 라이브러리로 인한 추가 오버헤드를 피하기 위해 파이썬 인터페이스 대신 C++ 인터페이스를 사용합니다.

Fig 2: 왼쪽: 단일 시뮬레이션 실행의 모든 정보를 담고 있는 "메모" 객체. 모든 타임 스텝의 상태 정보(위치, 속도, 변형 구배 등)와 초기 상태 p0, 정책 파라미터 θ에 대한 파라미터를 포함합니다. 오른쪽: 기호적 미분(상단)과 메모를 얻고, 메모와 기호적 미분으로부터 그래디언트를 평가하며, 최종적으로 경사 하강법(하단)에 사용하는 코드 샘플.

Table 3: 시뮬레이션 및 그래디언트 정밀도에서의 상대 오차. 빈 값은 충돌이 일어나기에는 시간이 너무 짧았기 때문입니다.

Fig 3: 공압 다리 실험. 행 (A, B)는 15cm에서 다리를 떨어뜨리는 바운싱 실험의 영상과 시뮬레이터 결과입니다. 행 (C, D)는 작동 테스트입니다.

Fig 4: 경사 하강법을 사용하여 최적화된 컨트롤러를 갖춘 2D 소프트 보행 로봇. 600 시뮬레이션 스텝 후 최대 거리를 달성하는 것을 목표로 합니다. 보행 로봇은 4개의 액추에이터(왼쪽, 'A' 문자로 표시)를 가지고 있으며, 각각 수직 방향으로 늘어나거나 압축될 수 있습니다. 전체 보행 애니메이션(중간 및 오른쪽)은 비디오에서 확인할 수 있습니다.

Fig 5: 팔 스윙 과제의 최종 자세. 밝은 색은 더 뻣뻣한 영역을 나타냅니다. (c) 초기 영률 300%의 고정 강성 팔의 최종 자세. (d) 초기 영률 300%의 고정 강성 팔의 최종 자세. (e) 공동 최적화된 팔의 최종 자세. 작동 비용은 초기 영률 100%의 고정 팔의 95.5%이며 수렴합니다. 공동 최적화된 팔만이 목표에 완전히 도달할 수 있습니다. 최종적으로 최적화된 팔의 공간적으로 변화하는 강성은 굽힘의 바깥쪽에서 더 낮고 안쪽에서 더 높아 왼쪽으로 더 많이 구부러지도록 합니다. 정성적으로 이는 소프트 로봇 손가락의 주름과 유사한 효과를 가집니다.

Fig 6: 3D 사족 보행 로봇. 더 많은 결과는 보충 비디오를 참조하십시오.

Fig 7: 2D 손가락 과제에 대한 PPO를 사용한 그래디언트-프리 최적화와 ChainQueen 기반의 경사 하강법 비교. 정확한 그래디언트 정보 덕분에, 가장 기본적인 옵티마이저조차도 최첨단 강화 학습 알고리즘보다 최적화 속도 면에서 한 자릿수 더 빠를 수 있습니다. (왼쪽) 단일 고정 목표. (중간) 무작위 목표. (오른쪽) 더 넓은 범위의 무작위 목표. 곡선은 각각 10, 100, 100 이터레이션에 걸쳐 평활화되었습니다. x축은 시뮬레이션 이터레이션이고 y축은 손실입니다.

Fig 8: 공동 설계 대 고정 팔 설계의 팔 뻗기 과제 수렴. 고정 설계는 진전을 보일 수는 있지만 과제를 완료하지는 못합니다. 반면, 공동 설계를 사용하면 과제를 완료할 수 있고 작동 비용이 더 낮습니다. 제약 위반은 두 가지 제약의 놈(norm)입니다: 엔드 이펙터와 목표 사이의 거리, 그리고 입자들의 평균 제곱 속도.