천 시뮬레이션은 컴퓨터 애니메이션, 의상 디자인, 로봇 보조 착의 등 다양한 분야에 폭넓게 응용됩니다. 본 연구는 추가적인 그래디언트 정보가 천 관련 응용 분야를 용이하게 하는 미분 가능한 천 시뮬레이터를 제시합니다. 저희의 미분 가능한 시뮬레이터는 Projective Dynamics (PD)에 기반하고 건성 마찰 접촉을 다루는 최신 천 시뮬레이터(Ly/2020/Dry Frictional Contact in PD)를 확장한 것입니다. 저희는 이전 연구(Du/2021/Differentiable PD)에서 영감을 받아, 건성 마찰 접촉이 포함된 PD 기반 천 시뮬레이션에서 그래디언트를 유도하는 빠르고 새로운 방법을 제안합니다. 더 나아가, 저희는 접촉이 많은 천 시뮬레이션에서 그래디언트의 유용성에 대한 포괄적인 분석과 평가를 수행합니다. 마지막으로, 저희는 시스템 식별, 보조 착의를 위한 궤적 최적화, 폐쇄 루프 제어, 역설계, 그리고 현실-시뮬레이션 전환을 포함한 여러 다운스트림 응용 분야에서 저희 시뮬레이터의 효능을 입증합니다. 저희는 이러한 응용 분야 대부분을 해결하는 데 있어 그래디언트 정보를 사용하여 상당한 속도 향상을 얻었음을 관찰했습니다.

의류는 우리 일상생활 어디에나 존재합니다. 패션 산업, 영화 산업, 컴퓨터 애니메이션, 비디오 게임 등에서 의류가 널리 사용됨에 따라, 천 시뮬레이션은 20년 이상 활발한 연구 주제였습니다. 오늘날, 천 시뮬레이션의 연구 발전은 가상 착의(Guan/2012/Virtual Try-on), 의류 디자인(Bartle/2016/Garment Design, Montes/2020/Garment Design, Umetani/2011/Garment Design, Wang/2018/Garment Design), 주름 디자인(Li/2018c/Fold Design), 의류 그레이딩(Brouet/2012/Garment Grading), 처짐 없는 반전(Ly/2018/Sagging-free Inversion), 로봇 보조 의류 착용(Clegg/2020/Robot-assisted Dressing, Clegg/2018/Robot-assisted Dressing) 등 다양한 응용 분야를 열었습니다.

최근 미분 가능 물리 시뮬레이션의 발전과 강체 시스템(de Avila Belbute-Peres/2018a/Rigid-body Systems, Geilinger/2020/Deformable-body Systems), 유체 시스템(Du/2020/Fluidic Systems, Hu/2020/Fluidic Systems), 변형체 시스템(Geilinger/2020/Deformable-body Systems, Hahn/2019/Deformable-body Systems)에서의 성공에 영감을 받아, 본 논문에서는 수많은 의류 관련 응용 분야 또한 고품질의 미분 가능 천 시뮬레이터로부터 혜택을 받을 수 있다고 주장합니다. 이전 미분 가능 시뮬레이터들의 핵심 요소는 시뮬레이션을 통해 미분 가능한 성능 지표를 역전파하여 그래디언트를 계산하는 능력이었습니다. 이러한 추가적인 그래디언트 정보는 그래디언트 기반 연속 최적화 방법을 가능하게 하며, 이는 다운스트림 응용 분야에서 그래디언트 없는 방법들에 비해 종종 상당한 속도 향상을 가져옵니다.

강체 및 연체 동역학을 위한 미분 가능 시뮬레이터의 최근 활발한 개발에 비해, 미분 가능 천 시뮬레이션에 대한 연구는 여전히 비교적 드뭅니다. 실제로, 천 시뮬레이션은 그 공차원 동역학(co-dimensional dynamics)과 특히 풍부한 접촉 이벤트로 인해 독특한 어려움을 야기합니다. 많은 미분 가능 시뮬레이터들이 다양한 복잡도의 접촉 모델에 대한 그래디언트를 유도하는 해결책을 제공했지만, 그들의 기술은 일반적으로 천 시뮬레이션에서처럼 접촉이 빈번할 것을 예상하지 않습니다. 천 시뮬레이션에서 빈번한 접촉과 자기 충돌이 있는 그래디언트를 유도하는 것은 최첨단 미분 가능 천 시뮬레이터(Liang/2019/Differentiable Cloth)에서조차 완전히 해결되지 않았으며, 우리 연구는 이 간극을 메우고자 합니다.

본 연구에서는 접촉 모델에 특별한 주의를 기울인 미분 가능 천 시뮬레이터를 제시합니다. 우리의 방법은 Ly/2020/Dry Frictional Contact의 최첨단 천 시뮬레이터에 기반을 두며, 그 시뮬레이터의 프로젝티브 다이내믹스(Projective Dynamics, PD) 시뮬레이션 방법과 시뇨리니-쿨롱 법칙(Signorini-Coulomb law)으로 기술되는 건성 마찰 접촉(dry frictional contact)을 사용합니다. 따라서 우리의 미분 가능 천 시뮬레이터는 프로젝티브 다이내믹스로부터의 속도 향상과 건성 마찰 접촉 모델로부터의 물리적 정확성을 모두 계승합니다. 그래디언트를 유도하기 위해 자동 미분 도구에 의존하는 이전 논문들과 달리, 우리는 건성 마찰 접촉 모델을 수용하기 위해 Du/2021/Differentiable PD에서 수정된 반복 솔버(iterative solver)를 제시합니다. 우리는 수정된 반복 솔버가 그래디언트 계산에서 표준 선형 솔버에 비해 상당한 속도 향상을 이끈다는 것을 보여줍니다.

잘 정의된 그래디언트를 가지려면, 미분 가능 시뮬레이터는 시뮬레이션에서 계산되는 모든 양이 충분히 매끄러울 것을 기대합니다. 그러나 다수의 접촉 이벤트로 인한 매끄럽지 않은 위치 및 힘의 변화는 이 근본적인 가정에 의문을 제기합니다. 접촉이 풍부한 환경에서 미분 가능 시뮬레이터의 유용성을 완전히 이해하기 위해, 우리 연구는 다양한 수의 접촉 이벤트가 있는 미분 가능 천 시뮬레이션의 거동에 대한 포괄적인 평가와 분석을 수행합니다. 이전 논문들이 유사한 논의를 제공했지만, 그들은 주로 페널티 기반 접촉 모델(Geilinger/2020/Deformable-body Systems)을 이해하거나, 천 시뮬레이션만큼 접촉 이벤트가 빈번하지 않은 강체 동역학에서의 충돌(Werling/2021/Rigid-body Collisions)을 논의하는 데 초점을 맞췄습니다. 우리가 아는 한, 우리 연구는 건성 마찰 접촉을 사용하는 미분 가능 천 시뮬레이터에서 그래디언트의 유용성에 대한 그러한 평가와 논의를 제시하는 첫 번째 연구입니다.

우리는 천 시뮬레이션에서의 마찰 계수 시스템 식별, 컴퓨터 애니메이션을 위한 의류 역설계, 로봇 보조 의류 착용에서의 로봇 매니퓰레이터 모션 계획 등 다양한 응용 분야에서 우리 시뮬레이터의 효과를 입증합니다. 이러한 응용 분야 중 다수는 기존 방법으로는 불가능하거나 해결하는 데 훨씬 더 오랜 시간이 걸릴 것입니다. 우리의 미분 가능 시뮬레이터로부터 얻은 추가적인 그래디언트 정보를 통해, 우리는 그래디언트 기반 최적화기를 사용하여 전통적인 그래디언트 없는 방법들보다 훨씬 더 높은 샘플 효율성으로 이러한 문제들을 해결합니다.

요약하자면, 우리 연구는 다음과 같은 기여를 합니다:

• 우리는 건성 마찰 접촉을 포함하는 새로운 미분 가능 천 시뮬레이터와 그 그래디언트 계산을 가속화하기 위한 반복 솔버를 제시합니다.

• 우리는 건성 마찰 접촉 모델에서 미분 불가능성의 원인을 평가하고, 접촉이 풍부한 미분 가능 천 시뮬레이션에서 그래디언트의 유용성을 논의합니다.

• 우리는 시스템 식별, 보조 의류 착용을 위한 궤적 최적화, 폐쇄 루프 제어, 역설계, 그리고 실제-시뮬레이션 전이(real-to-sim transfer)를 포함한 다양한 응용 분야에서 우리 시뮬레이터의 효과를 보여줍니다.

본 연구는 컴퓨터 그래픽스 분야의 천 시뮬레이션 및 그 응용 분야와 밀접하게 관련되어 있습니다. 또한 그래픽스 및 머신러닝 커뮤니티에서 개발된 보다 최근의 미분 가능 시뮬레이션 방법과도 관련이 있습니다.

천 시뮬레이션. 물리 기반 천 시뮬레이션은 의류가 우리 일상생활에서 널리 사용되기 때문에 수십 년 동안 그래픽스 커뮤니티에서 인기 있는 연구 주제였습니다. 암시적 오일러 적분은 큰 타임스텝으로 천을 안정적으로 시뮬레이션하는 데 사용되지만(Baraff/1998/Large steps in cloth simulation, Terzopoulos/1987/Elastically deformable models), 과도한 수치적 감쇠를 유발합니다. 이 문제를 완화하기 위해, 암시적 및 명시적 방법(IMEX)은 탄성력은 명시적으로 적분하고 감쇠력은 암시적으로 적분합니다(Bridson/2003/Simulation of clothing with folds and wrinkles, Stern/2009/Implicit-explicit integration of cloth simulation). 연구자들은 또한 시스템의 총 에너지를 보존하기 위해 BDF2(Choi/2002/Stable but responsive cloth) 및 심플렉틱 적분기(Stern/2006/A symplectic framework for animating solids and fluids)와 같은 다른 변분 적분기를 도입했습니다.

질량-스프링 시스템으로 모델링된 천에 대해, Liu/2013/Fast simulation of mass-spring systems는 암시적 오일러 적분을 에너지 최소화 문제로 다룹니다. 그러면 전역 선형 시스템은 런타임 동안 일정하게 유지되며, 각 스프링 제약 조건은 지역 단계에서 개별적으로 해결될 수 있습니다. 이러한 전역/지역 솔버 아이디어는 Projective Dynamics (PD)(Bouaziz/2014/Projective dynamics)로 일반화되었으며, 이는 탄성 에너지가 특정 이차 형식을 갖는 재료 모델을 지원합니다. Projective Dynamics는 더 일반적인 재료를 지원하도록 더욱 확장되었습니다(Liu/2017/Quasi-newton methods for real-time simulation of hyperelastic materials, Overby/2017/ADMM ⊇ Projective Dynamics). PD의 지역 단계는 병렬로 처리될 수 있지만, 전역 단계는 여전히 큰 사전 인수분해된 희소 행렬을 유지하고 각 단계에서 역대입을 수행해야 합니다. 또 다른 관련 아이디어는 Position-Based Dynamics (PBD)(Macklin/2016/XPBD, Müller/2007/Position based dynamics)로, 비선형 가우스-자이델 방식과 유사하게 각 제약 조건을 반복적으로 투영하여 GPU에서 고도로 병렬화 가능한 계산을 가능하게 합니다.

PD와 PBD 모두 더 발전된 속도 향상 기술에 대한 몇 가지 후속 연구로 이어졌습니다. Komaritzan/2018/Fast projective dynamics for physics-based character skinning은 물리 기반 캐릭터 스키닝을 위해 접촉이 있는 PD의 속도를 높이는 기술을 제시합니다. 천 시뮬레이션의 PD와 PBD에 대해, Wang/2015/A chebyshev semi-iterative approach for projective and position-based dynamics와 후속 연구(Wang/2016/A chebyshev-based acceleration method for stable fluids)는 PD와 PBD 모두에 적용하여 수렴 속도를 높일 수 있는 체비쇼프 가속 기법을 제안합니다. Fratarcangeli/2016/A parallel randomized gauss-seidel method for interactive simulation of highly deformable substances는 또한 희소 선형 시스템의 미지수를 몇 개의 독립적인 블록으로 재구성하는 병렬 무작위 가우스-자이델 방법을 도입했는데, 이는 단일 가우스-자이델 단계로 병렬 해결될 수 있습니다. 최근에는 기하학적 다중격자 기법(Wang/2018/A geometric multigrid method for simulating inextensible cloth), 대수적 다중격자 기법(Tamstorf/2015/An algebraic multigrid method for the efficient simulation of cloth), 갈료킨 다중격자 기법(Xian/2019/A galerkin multigrid method for simulating cloth)과 같은 다중격자법에 의해 적분 계산이 더욱 가속화되었습니다.

마지막으로, 본 연구는 천 시뮬레이션을 실제 직물 거동과 일치시키려는 이전의 시도들과도 관련이 있습니다(Clyde/2017/Simulating knitted fabric using a physics-based model, Miguel/2012/Data-driven estimation of cloth simulation models, Miguel/2013/Automatic learning of cloth parameters from video, Wang/2011/Data-driven synthesis of cloth simulation). 이는 일반적으로 구성 재료 모델을 실제 재료 속성에 피팅하여 수행되며, 미분 가능한 시뮬레이터에서 얻는 추가적인 그래디언트 정보로부터 이점을 얻을 수 있습니다(Hahn/2019/Differentiable cloth simulation for inverse problems).

천 접촉 및 마찰. 접촉과 마찰은 현대 천 시뮬레이션의 핵심 요소입니다. Provot/1997/Collision and self-collision handling in cloth model animation은 여러 충돌에 관련된 노드들을 충돌 영역(impact zones)으로 모으는 방법을 제안했는데, 이 영역들은 강체로 취급됩니다. Harmon/2008/Failsafe collision handling for cloth simulation은 문제의 정점들에 약간의 미끄러짐 운동을 허용함으로써 충돌 영역의 안전성을 향상시킵니다. Bridson/2002/Robust treatment of collisions, contact and friction for cloth animation은 반발 충격량, 마찰, 그리고 충돌 영역의 아이디어를 결합하여 천 충돌을 강건하게 처리하는 하이브리드 방법을 도입했으며, 이는 현대 천 시뮬레이터에서 여전히 널리 사용됩니다(Li/2020/Codimensional incremental potential contact, Narain/2012/Adaptive anisotropic remeshing for cloth simulation). 마찰을 완전 암시적으로 모델링하기 위해, Brown/2018/An implicit frictional contact solver for adaptive cloth simulation은 마찰을 최적화에서 추가적인 소산 항으로 취급합니다.

접촉 처리에 관해서는, 반발력 또는 페널티 방법이 구현이 쉽기 때문에 널리 사용되어 왔습니다(Bouaziz/2014/Projective dynamics, Geilinger/2020/ADD: A differentiable simulator for deformable solids, Macklin/2020/A unified particle physics solver for visual effects, Wang/2015/A chebyshev semi-iterative approach for projective and position-based dynamics). 그러나 이러한 방법들은 종종 페널티 에너지에 높은 강성을 필요로 하여, 세심한 튜닝이 필요한 방해되는 지터링 아티팩트를 유발합니다. 최근에 Li/2020/Incremental potential contact, Li/2021/Guaranteed-interpenetration-free simulation of chopped carbon fiber는 장벽 방법(barrier methods)을 사용하여 마찰에 대한 매끄러운 소산 포텐셜을 정의합니다. 그들의 방법은 파라미터 튜닝 없이도 각 타임스텝 이후에 상호 관통이 없는 상태를 보장할 수 있습니다.

페널티 기반 방법과 달리, 제약 기반 충돌 처리 방법은 접촉을 물리 시스템의 제약 조건으로 공식화합니다. Otaduy/2009/Implicit contact handling for deformable objects는 처음으로 천 접촉을 희소 선형 상보성 문제(LCP)로 공식화했습니다. 그들의 핵심 아이디어는 마찰 접촉 반복과 수직 접촉 반복을 번갈아 수행하는 것입니다. Otaduy/2009/Implicit contact handling for deformable objects의 쿨롱 마찰 원뿔에 대한 피라미드 근사를 사용하는 대신, Li/2018/An adaptive generalized newton method for frictional contact simulation은 정확한 쿨롱 마찰 원뿔에 의존하고 마찰 접촉의 정확한 처리를 보장하기 위해 노드를 적응적으로 세분화합니다. 제약 기반 방법은 일반적으로 시간 적분 후에 접촉과 마찰을 특징짓는 물리 기반 제약 조건이 만족됨을 보장하지만, 그 계산 비용은 일반적으로 페널티 기반 방법보다 훨씬 더 비쌉니다. 최근에 Ly/2020/Projective dynamics with dry frictional contact는 마찰 접촉을 Projective Dynamics에 통합하는 효율적인 알고리즘을 제안하여 비관통 및 쿨롱 제약 조건이 준-암시적 방식으로 동시에 만족되도록 합니다.

역동역학. 역동역학은 로봇 시스템의 관찰로부터 내부 힘이나 토크를 재구성하기 위해 수십 년 동안 로보틱스에서 연구되어 왔습니다. 그러나 기존 방법들은 보통 자유도가 100 미만인 강체 시스템에만 초점을 맞춥니다(Dario Bellicoso/2016/Whole-body motion control with centralized dynamic impulse scaling, Kang/2021/Dynamically consistent internal force and moment estimation of legged robots, Mistry/2010/Inverse dynamics based on operational space control). 연체, 유체, 천과 같은 고자유도 시스템을 위한 역동역학은 시뮬레이션과 미분 모두에 대한 로보틱스의 고품질 수치 해법이 부족하여 아직 탐구 중입니다. 역동역학과 미분 가능 시뮬레이션 사이의 한 가지 주목할 만한 차이점은 미분 가능 시뮬레이션이 초기 상태, 시스템 매개변수, 설계 매개변수에 대한 추가적인 그래디언트를 계산한다는 것입니다. 따라서, 미분 가능 시뮬레이션은 전통적인 역동역학이 일반적으로 고려하지 않는 시스템 식별, 역설계, 그리고 실제-시뮬레이션 매칭과 같은 더 많은 응용을 가능하게 합니다.

미분 가능 시뮬레이션. 미분 가능 시뮬레이션은 그래픽스와 머신러닝 커뮤니티에서 탐구된 비교적 최근의 개념이지만, 그 원래 아이디어는 수십 년 전 그래픽스의 훨씬 초기 연구로 거슬러 올라갈 수 있습니다. 아마도 그러한 초기 논문 중 하나는 Witkin/1988/Spacetime constraints일 것이며, 이는 목적 함수를 최소화하기 위해 시뮬레이션을 최적화하는 것을 보여줍니다. 강체 동역학(de Avila Belbute-Peres/2018/End-to-end differentiable physics for learning and control, Degrave/2019/A differentiable physics engine for deep learning in robotics, Popović/2003/Interactive manipulation of rigid body simulations, Qiao/2020/Scalable differentiable physics for learning and control, Toussaint/2018/Differentiable physics and stable modes for tool use and manipulation planning, Xu/2021/Accelerating differentiable simulation with a primal-dual method), 연체 동역학(Du/2021/Differentiable simulation of soft objects with frictional contact, Geilinger/2020/ADD: A differentiable simulator for deformable solids, Hahn/2019/Differentiable cloth simulation for inverse problems, Hu/2020/A differentiable simulator for elastic and plastic solids, Hu/2019/Chainqueen: A real-time differentiable physical simulator for soft robotics), 그리고 유체 동역학(Holl/2020/Learning to control PDEs with differentiable physics, McNamara/2004/Fluid control using the adjoint method, Schenck/2018/spnets: Differentiable fluid dynamics for deep neural networks, Treuille/2003/Keyframe control of smoke simulations, Wojtan/2006/Animating water with real-time user control)에서의 미분 가능 시뮬레이터의 최근 발전에도 불구하고, 미분 가능 천 시뮬레이션은 아직 좋은 해결책이 부족합니다. 한 가지 자연스러운 아이디어는 천의 노드 시스템을 그래프 신경망으로 근사하는 입자 기반 전략을 사용하는 것입니다(Li/2019/Learning to simulate cloth with graph networks, Sanchez-Gonzalez/2020/Learning to simulate complex physics with graph networks). 신경망은 자연스럽게 미분 가능하지만, 물리적 정확성을 보장하기는 어렵습니다.

실세계 물체의 거동을 정확하게 예측하기 위해, 최근 논문들(Geilinger/2020/ADD: A differentiable simulator for deformable solids, Hahn/2019/Differentiable cloth simulation for inverse problems)은 암시적 오일러 시간 적분과 페널티 기반 접촉을 갖는 미분 가능한 연체 시스템과 질량-스프링 시스템을 제시합니다. 비록 몇몇 최근 논문들(Li/2020/Incremental potential contact, Li/2021/Guaranteed-interpenetration-free simulation of chopped carbon fiber, Macklin/2020/A unified particle physics solver for visual effects)이 미분 가능한 접촉 처리 방법을 도입했지만, 그들 중 어느 것도 이론적으로 방법의 미분 가능성을 입증하는 것 외에 미분 가능성을 사용한 의류 예제를 보여주지는 않았습니다. Liang/2019/Differentiable cloth simulation with contact은 접촉, 마찰, 그리고 자기 충돌을 포함하는 완전한 기능의 미분 가능 천 시뮬레이션을 처음으로 도입했습니다. 정적 LCP 문제를 구성하는 대신, 그들은 충돌 없는 상태와 원래 메시 상태 사이의 변화를 최소화하는 이차 계획법(QP) 문제를 개발합니다. Murthy/2021/Differentiable rendering and simulation for hollow-object transiency 또한 그들의 완전 미분 가능 시뮬레이션 및 렌더링 파이프라인에서 페널티 기반 마찰 접촉을 갖는 미분 가능 천 시뮬레이터를 제시합니다. 본 논문에서는 미분 가능한 PD 프레임워크(Du/2021/Differentiable simulation of soft objects with frictional contact)를 기반으로 건식 마찰 접촉(Ly/2020/Projective dynamics with dry frictional contact)이 있는 천 동역학을 시뮬레이션하고 이를 그래디언트 계산으로 보강합니다.

미분 가능 시뮬레이션의 중요한 과제는 비-매끄러운(non-smooth) 접촉 이벤트의 존재이며, 여기서 비-매끄러움은 불연속적인 접촉 형태(Popović/2000/Interactive manipulation of rigid body simulations), 충격력(Hu/2019/Chainqueen: A real-time differentiable physical simulator for soft robotics), 또는 접촉 법칙의 분기(Ly/2020/Projective dynamics with dry frictional contact) 등에서 발생할 수 있습니다. 많은 기존의 미분 가능 시뮬레이터들은 이러한 비-매끄러움이 그래디언트의 유용성에 영향을 미치지 않는다고 가정합니다. 실제로, 그들은 다운스트림 응용 프로그램에서 그래디언트를 사용하는 것의 이점을 관찰한 경험적 결과를 제시합니다(de Avila Belbute-Peres/2018/End-to-end differentiable physics for learning and control, Du/2021/Differentiable simulation of soft objects with frictional contact, Geilinger/2020/ADD: A differentiable simulator for deformable solids, Liang/2019/Differentiable cloth simulation with contact). 본 연구 또한 여러 응용에서 그래디언트 없는 방법에 비해 그래디언트의 이점을 관찰하지만, 우리는 한 걸음 더 나아가 접촉이 많은 천 시뮬레이션에서 비-매끄러움과 불연속성의 원인을 분석합니다. 우리는 우리의 경험이 미래에 미분 가능 시뮬레이션 방법을 적용하는 데 유용한 휴리스틱으로 작용하기를 바랍니다.

우리의 핵심 기여는 이 PD 프레임워크 내에서 건식 마찰 접촉을 포함한 그래디언트 계산을 개발한 것에 있으며, 이는 다음 섹션에서 자세히 설명합니다.

우리의 핵심 기여는 건성 마찰 접촉을 포함하는 이 PD 프레임워크에서의 그래디언트 계산법 개발에 있으며, 이는 다음 섹션에서 자세히 설명합니다.

암시적 시간 통합. 우리는 천을 $m$개의 3D 노드로 구성된 노드 시스템으로 모델링합니다. $x(t)$와 $v(t)$를 시간 $t$에서의 모든 노드의 위치와 속도를 나타내는, $\mathbb{R}^+$에서 $\mathbb{R}^{3m}$으로의 두 벡터 함수라고 합시다. 우리는 $x(t)$와 $v(t)$를 다음과 같이 이산화하는 표준 암시적 시간 스텝 방식을 고려합니다:

여기서 $h$는 시간 스텝 크기, $M$은 $3m \times 3m$ 크기의 양의 대각 질량 행렬, 그리고 $f_{\text{int}}$와 $f_{\text{ext}}$는 각 노드에서의 내부 힘과 외부 힘을 각각 두 개의 $3m$ 차원 벡터로 쌓은 것입니다. 현재로서는 $f_{\text{int}}$와 $f_{\text{ext}}$가 접촉력을 포함하지 않는다고 가정하며, 이는 3.2절에서 별도로 논의될 것입니다. 우리는 $f_{\text{int}}$를 정의하기 위해 Bouaziz et al. [2014]에 기술된 천 재질 모델을 사용합니다. 암시적 시간 스텝 방식은 시간 $t_n$에서의 노드 시스템의 상태 $(x_n, v_n)$을 새로운 시간 $t_{n+1} = t_n + h$에서의 $(x_{n+1}, v_{n+1})$에 연결합니다.

최적화 관점. Martin et al. [2011]에 의해 논의된 바와 같이, 암시적 시간 스텝 방식은 다음의 에너지 최소화 문제의 안장점을 찾는 것으로 재구성될 수 있습니다:

여기서 $y = x_n + h v_n + h^2 M^{-1} f_{\text{ext}}$는 현재 시간 스텝의 시작 부분에서 미리 계산될 수 있는 상수 벡터입니다. 포텐셜 에너지 $\mathcal{W}$는 공간적 그래디언트에 의해 내부 힘 $f_{\text{int}}$를 정의합니다: $f_{\text{int}} = -\nabla \mathcal{W}(x_{n+1})$. 목적 함수의 그래디언트를 0으로 설정하면 수식 (1)과 (2)와 동일한 방정식 시스템이 도출된다는 것을 쉽게 확인할 수 있습니다.

PD에서의 지역 및 전역 솔버. PD의 핵심 가정은 내부 에너지 $\mathcal{W}$가 Bouaziz et al. [2014], Liu et al. [2017]에서처럼 이차 형식의 합으로 쓰일 수 있다는 것입니다:

여기서 각 에너지 $\mathcal{W}_i$는 $x$의 선형 변환인 $A_i x$를 집합 $\mathcal{M}_i$ 내의 가장 가까운 점으로 투영하고, 그 제곱 거리를 미리 지정된 강성 $w_i$로 스케일링합니다. $A_i$와 $\mathcal{M}_i$는 모두 미리 정의되어 있으며 $x$와는 독립적입니다. 여기서 $\mathcal{M}_i$는 제약 조건 매니폴드이고, $p_i$는 Bouaziz et al. [2014]에서 정의된 보조 투영 변수입니다. $\mathcal{W}$에 대한 이러한 가정을 바탕으로, PD는 대리 목적 함수를 최소화하기 위한 지역-전역 솔버를 제안합니다:

여기서 $p$는 각 $\mathcal{W}_i$로부터의 모든 $p_i$를 쌓아 올린 것입니다. 지역 스텝에서, PD는 $x_{n+1}$을 고정하고 각 $p_i$를 수식 (4)를 풀어 해당 $\mathcal{M}_i$에 투영합니다. 이러한 지역 스텝은 각 $\tilde{\mathcal{W}}_i$에 대해 병렬로 수행될 수 있습니다. 전역 스텝에서, PD는 $p$를 고정하고 $\tilde{g}$를 $x_{n+1}$의 함수로서 최소화하는데, 이는 다음과 같은 닫힌 형태의 해를 가집니다:

지역 스텝과 전역 스텝을 번갈아 가며 수행함으로써, PD는 수렴할 때까지 대리 에너지 $\tilde{g}$를 단조적으로 감소시키며, 이는 $g$의 안장점과 일치함이 Liu et al. [2017]에 의해 보여졌습니다. PD의 효율성의 원천은 P가 시뮬레이션 시작 시 미리 인수분해될 수 있는 상수 행렬이라는 관찰에서 비롯되며, 이는 각 전역 스텝에서 역대입만 필요로 하는 효율적인 계산으로 이어집니다.

따라서, 우리의 미분 가능한 옷감 시뮬레이터는 Projective Dynamics로부터의 속도 향상과 건식 마찰 접촉 모델의 물리적 정확성을 모두 계승합니다. 자동 미분 도구에 의존하여 그래디언트를 유도하는 이전 논문들과 달리, 우리는 Du et al./2021/Differentiable PD의 연구를 수정하여 건식 마찰 접촉 모델을 수용하는 반복 솔버를 제시합니다. 우리는 수정된 반복 솔버가 그래디언트 계산에서 표준 선형 솔버에 비해 상당한 속도 향상을 가져온다는 것을 보여줍니다.

잘 정의된 그래디언트를 가지기 위해, 미분 가능한 시뮬레이터는 시뮬레이션에서 계산되는 모든 양이 충분히 매끄러울 것을 기대합니다. 그러나 수많은 접촉 이벤트로 인한 비매끄러운 위치 및 힘의 변화는 이 근본적인 가정에 의문을 제기합니다. 접촉이 많은 환경에서 미분 가능한 시뮬레이터의 유용성을 완전히 이해하기 위해, 우리 연구는 다양한 수의 접촉 이벤트가 있는 미분 가능한 옷감 시뮬레이션의 동작에 대한 포괄적인 평가와 분석을 수행합니다. 이전 논문들이 유사한 논의를 제공했지만, 그들은 주로 페널티 기반 접촉 모델을 이해하는 데 초점을 맞추거나(Geilinger et al./2020/Differentiable Simulation of Deformable Bodies) 옷감 시뮬레이션만큼 접촉 이벤트가 빈번하지 않은 강체 동역학에서의 충돌을 논의했습니다(Werling et al./2021/Smooth Friction). 우리가 아는 한, 우리 연구는 건식 마찰 접촉을 포함한 미분 가능한 옷감 시뮬레이터에서 그래디언트의 유용성에 대한 그러한 평가와 논의를 제시하는 최초의 연구입니다.

우리는 옷감 시뮬레이션에서의 마찰 계수 시스템 식별, 컴퓨터 애니메이션을 위한 역 의상 디자인, 로봇 보조 드레싱에서의 로봇 매니퓰레이터의 동작 계획 등 다양한 응용 분야에서 우리 시뮬레이터의 효용성을 입증합니다. 이러한 응용 프로그램 중 다수는 기존 방법으로는 해결이 불가능하거나 훨씬 더 오랜 시간이 걸릴 것입니다. 우리의 미분 가능한 시뮬레이터에서 얻은 추가적인 그래디언트 정보를 통해, 우리는 그래디언트 기반 최적화기를 사용하여 전통적인 그래디언트 프리 방법보다 훨씬 높은 샘플 효율성으로 이러한 문제들을 해결할 수 있습니다.

요약하자면, 우리 연구는 다음과 같은 기여를 합니다:

• 우리는 건식 마찰 접촉을 갖춘 새로운 미분 가능한 옷감 시뮬레이터와 그 그래디언트 계산 속도를 높이는 반복 솔버를 제시합니다.

• 우리는 건식 마찰 접촉 모델에서 비미분성의 원인을 평가하고, 접촉이 많은 미분 가능한 옷감 시뮬레이션에서 그래디언트의 유용성을 논의합니다.

• 우리는 시스템 식별, 보조 드레싱을 위한 궤적 최적화, 폐쇄 루프 제어, 역설계, 그리고 현실-시뮬레이션 전이를 포함한 다양한 응용 분야에서 우리 시뮬레이터의 효용성을 보여줍니다.

우리 연구는 옷감 시뮬레이션 및 컴퓨터 그래픽스에서의 응용과 밀접하게 관련되어 있습니다. 또한 그래픽스 및 머신러닝 커뮤니티에서 개발된 보다 최근의 미분 가능한 시뮬레이션 방법과도 관련이 있습니다.

옷감 시뮬레이션. 물리 기반 옷감 시뮬레이션은 옷이 우리 일상 생활에서 널리 사용되기 때문에 수십 년 동안 그래픽스 커뮤니티에서 인기 있는 주제였습니다. 암시적 오일러 적분은 큰 타임 스텝으로 옷감을 강건하게 시뮬레이션하는 데 사용되지만(Baraff and Witkin/1998/Large Steps in Cloth Simulation, Terzopoulos et al./1987/Elastically Deformable Models), 과도한 수치적 감쇠를 도입합니다. 이 문제를 완화하기 위해, 암시적 및 명시적 방법(IMEX)(Bridson et al./2003/IMEX for Deformables, Stern and Grinspun/2009/IMEX for Cloth)은 탄성력은 명시적으로 적분하고 감쇠력은 암시적으로 적분합니다. 연구자들은 또한 시스템의 총 에너지를 보존하기 위해 BDF2(Choi and Ko/2002/Stable but Responsive Cloth) 및 심플렉틱 적분기(Stern and Desbrun/2006/Symplectic Integrator)와 같은 다른 변분 적분기를 도입했습니다.

질량-스프링 시스템으로 모델링된 옷감에 대해, Liu et al./2013/Fast Simulation of Mass-Spring Systems은 암시적 오일러 적분을 에너지 최소화 문제로 다룹니다. 그러면 전역 선형 시스템은 런타임에 상수로 유지되며, 각 스프링 제약 조건은 지역 단계에서 개별적으로 해결될 수 있습니다. 그 전역/지역 솔버 아이디어는 Projective Dynamics (PD)(Bouaziz et al./2014/Projective Dynamics)로 일반화되었으며, 이는 탄성 에너지가 특정 이차 형식을 갖는 재료 모델을 지원합니다. Projective Dynamics는 더 일반적인 재료를 지원하도록 더욱 확장되었습니다(Liu et al./2017/Quasi-Newton for PD, Overby et al./2017/ADMM for PD). PD의 지역 단계는 병렬로 처리될 수 있지만, 전역 단계는 여전히 큰 사전 인수분해된 희소 행렬을 유지하고 각 단계에서 역대입을 수행해야 합니다. 또 다른 관련 아이디어는 Position-Based Dynamics (PBD)(Macklin et al./2016/XPBD, Müller et al./2007/Position Based Dynamics)로, 비선형 가우스-자이델 방식과 유사하게 각 제약 조건을 반복적으로 투영하여 GPU에서 고도로 병렬화 가능한 계산을 가능하게 합니다.

PD와 PBD 모두 더 진보된 속도 향상 기술에 대한 몇몇 후속 연구로 이어졌습니다. Komaritzan and Botsch/2018/PD with Contact for Skinning은 물리 기반 캐릭터 스키닝을 위해 접촉이 있는 PD의 속도를 높이는 기술을 제시합니다. 옷감 시뮬레이션의 PD와 PBD에 대해, Wang/2015/Chebyshev for PD와 후속 연구(Wang and Yang/2016/Chebyshev for PBD)는 PD와 PBD 모두에 적용하여 수렴 속도를 높일 수 있는 체비쇼프 가속 기법을 제안합니다. Fratarcangeli et al./2016/Parallel Randomized Gauss-Seidel은 또한 희소 선형 시스템의 미지수를 몇 개의 독립적인 블록으로 재구성하는 병렬 무작위 가우스-자이델 방법을 도입하여, 단일 가우스-자이델 단계로 병렬 해결할 수 있게 합니다. 최근에는 기하학적 멀티그리드 방식(Wang et al./2018/Geometric Multigrid for Cloth), 대수적 멀티그리드 방식(Tamstorf et al./2015/Algebraic Multigrid for Cloth), 갈료킨 멀티그리드 방식(Xian et al./2019/Galerkin Multigrid for Cloth)과 같은 멀티그리드 방법에 의해 적분 계산이 더욱 가속화되었습니다.

마지막으로, 우리 연구는 옷감 시뮬레이션을 실제 직물 거동과 일치시키려는 이전의 시도들과도 관련이 있습니다(Clyde et al./2017/Fabric Behavior Matching, Miguel et al./2012/Fabric Property Measurement, Miguel et al./2013/Fabric Property Measurement, Wang et al./2011/Data-Driven Cloth Simulation). 이는 일반적으로 구성 재료 모델을 실제 재료 속성에 맞추는 방식으로 수행되며, 미분 가능한 시뮬레이터로부터의 추가적인 그래디언트 정보로부터 이점을 얻을 수 있습니다(Hahn et al./2019/Differentiable Simulation of Soft Bodies).

옷감 접촉 및 마찰. 접촉과 마찰은 현대 옷감 시뮬레이션의 핵심 요소입니다. Provot/1997/Impact Zones는 여러 충돌에 관련된 노드들을 “충격 영역”으로 모으는 방법을 제안했는데, 이 영역들은 강체로 취급됩니다. Harmon et al./2008/Robust Treatment of Collisions은 문제의 정점들에 약간의 미끄러짐 운동을 허용함으로써 충격 영역의 안전성을 개선했습니다. Bridson et al./2002/Robust Treatment of Collisions는 반발 충격량, 마찰, 그리고 충격 영역의 아이디어를 결합하여 옷감 충돌을 강건하게 처리하는 하이브리드 방법을 도입했으며, 이는 현대 옷감 시뮬레이터에서 여전히 널리 사용됩니다(Li et al./2020b/Codimensional Incremental Potential Contact, Narain et al./2012/Adaptive Anisotropic Remeshing). 마찰을 완전히 암시적으로 모델링하기 위해, Brown et al./2018/Implicit Frictional Dissipation은 마찰을 최적화에서 추가적인 소산 항으로 취급합니다.

접촉 처리에 관해서는, 반발력 또는 페널티 방법이 구현하기 쉽기 때문에 널리 사용되어 왔습니다(Bouaziz et al./2014/Projective Dynamics, Geilinger et al./2020/Differentiable Simulation of Deformable Bodies, Macklin et al./2020/Implicit Frictional Contact, Wang/2015/Chebyshev for PD). 그러나 이러한 방법들은 종종 페널티 에너지에 높은 강성을 필요로 하여, 신중한 튜닝이 요구되는 방해되는 지터링 아티팩트를 유발합니다. 최근에 Li et al./2020a/IPC, Li et al./2021/Codimensional IPC는 장벽 방법을 사용하여 마찰에 대한 매끄러운 소산 포텐셜을 정의했습니다. 그들의 방법은 파라미터 튜닝 없이 각 타임 스텝 후에 상호 침투가 없는 상태를 보장할 수 있습니다.

페널티 기반 방법과 달리, 제약 조건 기반 충돌 처리 방법은 접촉을 물리 시스템의 제약 조건으로 공식화합니다. Otaduy et al./2009/Sparse LCP for Cloth는 처음으로 옷감 접촉을 희소 선형 상보성 문제(LCP)로 공식화했습니다. 그들의 핵심 아이디어는 마찰 접촉 반복과 수직 접촉 반복을 번갈아 수행하는 것입니다. 쿨롱 마찰 원뿔의 피라미드 근사를 사용하는 대신(Otaduy et al./2009/Sparse LCP for Cloth), Li et al./2018b/Exact Coulomb Friction는 정확한 쿨롱 마찰 원뿔에 의존하고 마찰 접촉의 정확한 처리를 보장하기 위해 노드를 적응적으로 세분화합니다. 제약 조건 기반 방법은 일반적으로 시간 적분 후 접촉과 마찰을 특징짓는 물리 기반 제약 조건이 만족되도록 보장하지만, 그들의 계산 비용은 일반적으로 페널티 기반 방법보다 훨씬 더 비쌉니다. 최근에 Ly et al./2020/Efficient Frictional Contact in PD는 마찰 접촉을 Projective Dynamics에 통합하는 효율적인 알고리즘을 제안하여 비침투 및 쿨롱 제약 조건이 준-암시적 방식으로 동시에 만족되도록 합니다.

역동역학. 역동역학은 로봇 시스템의 관찰로부터 내부 힘이나 토크를 재구성하기 위해 수십 년 동안 로봇 공학에서 연구되어 왔습니다. 그러나 기존 방법들은 보통 수백 개 미만의 자유도(DoF)를 가진 강체 시스템에만 초점을 맞춥니다(Dario Bellicoso et al./2016/Whole-Body Inverse Dynamics, Kang et al./2021/Inverse Dynamics for Legged Robots, Mistry et al./2010/Operational Space Inverse Dynamics). 부드러운 물체, 유체, 옷감과 같은 고자유도 시스템을 위한 역동역학은 시뮬레이션과 미분 모두에 대한 고품질 수치 해법이 로봇 공학에 부족하기 때문에 아직 탐구 중입니다. 역동역학과 미분 가능한 시뮬레이션 사이의 한 가지 주목할 만한 차이점은 미분 가능한 시뮬레이션이 초기 상태, 시스템 매개변수, 설계 매개변수에 대한 추가적인 그래디언트를 계산한다는 것입니다. 따라서 미분 가능한 시뮬레이션은 전통적인 역동역학이 일반적으로 고려하지 않는 시스템 식별, 역설계, 현실-시뮬레이션 매칭과 같은 더 많은 응용을 가능하게 합니다.

미분 가능한 시뮬레이션. 미분 가능한 시뮬레이션은 그래픽스 및 머신러닝 커뮤니티에서 탐구된 비교적 최근의 개념이지만, 그 원래 아이디어는 수십 년 전 그래픽스의 훨씬 초기 연구로 거슬러 올라갈 수 있습니다. 아마도 가장 초기의 논문 중 하나는 Witkin and Kass/1988/Spacetime Constraints으로, 목표를 최소화하기 위해 시뮬레이션을 최적화하는 것을 보여줍니다. 강체 동역학(de Avila Belbute-Peres et al./2018b/Differentiable Rigid Body Simulator, Degrave et al./2019/Differentiable Physics Engine, Popović et al./2003/Interactive Control of Avatars, Qiao et al./2020/Scalable Differentiable Physics, Toussaint et al./2018/Differentiable Physics and Logic, Xu et al./2021/Differentiable Collision Detection), 연체 동역학(Du et al./2021/Differentiable PD, Geilinger et al./2020/Differentiable Simulation of Deformable Bodies, Hahn et al./2019/Differentiable Simulation of Soft Bodies, Hu et al./2020/Differentiable Projective Dynamics, Hu et al./2019/ChainQueen), 유체 동역학(Holl et al./2020/Differentiable Fluid Simulation, McNamara et al./2004/Fluid Control, Schenck and Fox/2018/SPNets, Treuille et al./2003/Keyframe Control of Smoke, Wojtan et al./2006/Controlling Liquids)에서 미분 가능한 시뮬레이터의 최근 발전에도 불구하고, 미분 가능한 옷감 시뮬레이션은 여전히 좋은 해결책이 부족합니다. 한 가지 자연스러운 아이디어는 옷감의 노드 시스템을 그래프 신경망으로 근사하는 입자 기반 전략을 사용하는 것입니다(Li et al./2019/Graph Network-based Simulators, Sanchez-Gonzalez et al./2020/Learning to Simulate Complex Physics). 신경망은 자연스럽게 미분 가능하지만, 물리적 정확성을 보장하기는 어렵습니다.

실세계 객체의 행동을 정확하게 예측하기 위해, 최근 논문들(Geilinger et al./2020/Differentiable Simulation of Deformable Bodies, Hahn et al./2019/Differentiable Simulation of Soft Bodies)은 암시적 오일러 시간 적분과 페널티 기반 접촉을 갖춘 미분 가능한 연체 시스템 및 질량-스프링 시스템을 제시합니다. 몇몇 최근 논문들(Li et al./2020a/IPC, Li et al./2021/Codimensional IPC, Macklin et al./2020/Implicit Frictional Contact)이 미분 가능한 접촉 처리 방법을 도입했지만, 그들 중 어느 것도 이론적으로 방법의 미분 가능성을 입증하는 것 외에 미분 가능성을 사용한 의류 예제를 보여주지 않았습니다. Liang et al./2019/Differentiable Cloth Simulation은 접촉, 마찰, 자체 충돌을 포함한 완전한 기능의 미분 가능한 옷감 시뮬레이션을 처음으로 도입했습니다. 정적 LCP 문제를 구성하는 대신, 그들은 충돌 없는 상태와 원래 메시 상태 사이의 변화를 최소화하는 이차 계획법(QP) 문제를 개발합니다. Murthy et al./2021/Differentiable Simulation and Rendering 또한 그들의 완전한 미분 가능한 시뮬레이션 및 렌더링 파이프라인에서 페널티 기반 마찰 접촉을 갖춘 미분 가능한 옷감 시뮬레이터를 제시합니다. 이 논문에서, 우리는 Du et al./2021/Differentiable PD의 미분 가능한 PD 프레임워크를 기반으로 하여 건식 마찰 접촉(Ly et al./2020/Efficient Frictional Contact in PD)으로 옷감 동역학을 시뮬레이션하고 그래디언트 계산으로 이를 보강합니다.

미분 가능한 시뮬레이션의 중요한 과제는 비매끄러운 접촉 이벤트의 존재입니다. 여기서 비매끄러움은 불연속적인 접촉 형태(Popović et al./2000/Contact-Aware Control), 충격력(Hu et al./2019/ChainQueen), 또는 접촉 법칙의 분기(Ly et al./2020/Efficient Frictional Contact in PD) 등에서 발생할 수 있습니다. 많은 기존의 미분 가능한 시뮬레이터들은 이러한 비매끄러움이 그래디언트의 사용성에 영향을 미치지 않는다고 가정합니다. 실제로, 그들은 다운스트림 응용 프로그램에서 그래디언트를 사용하는 것의 이점을 관찰한 경험적 결과를 제시합니다(de Avila Belbute-Peres et al./2018a/End-to-end Differentiable Physics, Du et al./2021/Differentiable PD, Geilinger et al./2020/Differentiable Simulation of Deformable Bodies, Liang et al./2019/Differentiable Cloth Simulation). 우리 연구 또한 여러 응용 분야에서 그래디언트 프리 방법에 비해 그래디언트의 이점을 관찰하지만, 우리는 한 걸음 더 나아가 접촉이 많은 옷감 시뮬레이션에서 비매끄러움과 불연속성의 원인을 분석합니다. 우리는 우리의 경험이 미래에 미분 가능한 시뮬레이션 방법을 적용하는 데 유용한 휴리스틱으로 작용하기를 바랍니다.

기존의 미분 가능 시뮬레이터들은 강체 또는 변형체 동역학에서의 희소한 접촉 이벤트에 초점을 맞추거나(Du/2021/Differentiable Soft Body, Geilinger/2020/Differentiable Simulation, Hu/2019/ChainQueen), 최신 미분 가능 천 시뮬레이션 방법인 Liang/2019/Differentiable Cloth은 풍부한 접촉 이벤트를 처리하지만, 물리 기반 접촉력이나 마찰은 다루지 않습니다.

저희가 아는 한, 저희 연구는 쿨롱의 마찰 법칙을 사용하여 풍부한 접촉 이벤트를 처리할 수 있는 미분 가능 천 시뮬레이터를 제시하는 최초의 연구입니다.

Projective Dynamics에는 P의 사전 인수분해가 존재한다는 점에 주목하여, Du 등/2021/Differentiable PD은 $z_{n+1}$을 풀기 위해 다음의 반복법을 제안합니다:

Projective Dynamics의 로컬-글로벌 단계와 유사하게, 로컬 단계에서는 각 $\nabla^2 W_i$에 걸쳐 $\Delta P$를 병렬로 평가할 수 있고, $P$를 재사용하는 글로벌 단계에서는 후방 대입만으로 $z_{n+1}^{k+1}$을 풀 수 있습니다. Du 등/2021/Differentiable PD은 이러한 로컬-글로벌 솔버가 식 (16)을 직접 푸는 것보다 경험적으로 더 빠르다는 것을 보여주며, 이는 원래 PD 방법의 효율성의 원천과 유사합니다.

Du 등/2021/Differentiable PD이 역전파를 Projective Dynamics 프레임워크에 통합하는 방법을 광범위하게 논의했지만, 접촉 지원이 마찰에 대한 적절한 처리 없이 비관통 조건에 국한되어 있습니다. 반면에, 다른 이전 연구들은 Signorini-Coulomb 법칙에 의해 지배되는 접촉을 포함한 그래디언트를 유도하는 해결책을 제공했지만, 소규모 문제(예: de Avila Belbute-Peres 등/2018a/Rigid Body Differentiable Sim의 강체)나 정적인 지면에서의 드문 접촉 이벤트에만 초점을 맞추었습니다 (Geilinger 등/2020/Differentiable Soft Body). 여기서 우리는 PD로부터 속도 향상을 계승하고, 기존의 많은 미분 가능 시뮬레이터에서는 간과되었지만 옷감 시뮬레이션에서는 흔한 자기 충돌과 같은 복잡한 접촉 이벤트를 포함한 그래디언트를 처리하는 미분 가능한 옷감 시뮬레이터를 제시합니다.

접촉을 포함한 암시적 시간 적분 미분하기. 접촉이 있는 시뮬레이션의 $n$번째 시간 단계를 고려해 봅시다. 이 단계는 $(x_n, v_n)$을 입력으로 받아 식 (9)를 만족하는 $(x_{n+1}, v_{n+1}, r_{n+1}, u_{n+1})$을 계산합니다. 특히, 각 접촉 노드 $j$에 대해, 순방향 시뮬레이션은 식 (8)의 접촉 조건 중 어느 것이 $(r_{n+1,j}, u_{n+1,j})$에 적용되는지를 식별합니다. 예를 들어, 접촉 노드 $j$가 식 (8c)를 만족한다고 가정하면, 그 제약 조건은 다음과 같이 요약될 수 있습니다:

여기서 $(\cdot)_x$와 $(\cdot)_y$는 2차원 벡터의 $x$와 $y$ 성분을 각각 추출합니다. 식 (8)의 다른 두 경우(이탈 및 고착)도 유사하게 세 개의 등식 제약($r_{n+1,j}=0$ 또는 $u_{n+1,j}=0$)과 $(r_{n+1,j}, u_{n+1,j})$에 대한 여러 부등식 제약을 강제합니다. 만약 부등식 제약이 비활성 상태라면, 시뮬레이터의 입력을 약간만 변경해도 $(r_{n+1,j}, u_{n+1,j})$는 그 내부 영역에 머무를 것입니다. 따라서 역전파 중 그래디언트를 유도할 때 비활성 부등식은 제거할 수 있습니다. 부등식 제약이 활성 상태일 때, 시뮬레이션의 그래디언트는 잘 정의되지 않는데, 이는 여러 접촉 유형으로 분류될 수 있는 코너 케이스를 나타내기 때문입니다. 이러한 코너 케이스들은 시뮬레이터에 비매끄러움(non-smoothness)을 도입하지만, 표준 ReLU 활성화 함수가 변곡점에서 비매끄러움에도 불구하고 여전히 연속적인 것처럼, 불연속성을 생성하지는 않는다는 점을 언급할 가치가 있습니다.

부등식 제약을 제거한 후, 세 등식 제약의 좌변에 대해 비선형 벡터 함수 $C_j^n(r_{n+1,j}, u_{n+1,j})$를 추가로 정의하고, 제약 조건을 $C_j^n(r_{n+1,j}, u_{n+1,j}) = 0$으로 간결하게 표현합니다. 식 (8)의 세 가지 경우 모두에 대해 $C_j^n$이 3차원 출력을 갖는다는 점이 편리합니다. 모든 접촉 노드 $j \in I_n$로부터의 $C_j^n$을 비선형 함수 $C_n(\cdot, \cdot) : \mathbb{R}^{3|I_n|} \times \mathbb{R}^{3|I_n|} \to \mathbb{R}^{3|I_n|}$로 쌓을 수 있으며(함수는 $C_j$에 속하는 유효한 입력 쌍에서만 평가됨), 이를 통해 식 (9)를 다음과 같이 다시 쓸 수 있습니다:

Ly 등/2020/Dry Frictional Contact in PD에 의해 기술된 접촉을 포함한 순방향 PD 시뮬레이션과 일관성을 유지하기 위해 변수로 $x_{n+1}$ 대신 $v_{n+1}$을 선택했습니다. 첫 번째 방정식의 양변을 $v_n$에 대해 미분하면 다음과 같은 결과를 얻습니다:

이것을 식 (15)와 비교하면, 이제 역행렬을 취해야 하는 행렬이 $\frac{\partial r_{n+1}}{\partial v_{n+1}}$에 의존하는 추가적인 구성요소를 가지고 있음을 알 수 있으며, 이는 다음과 같이 얻습니다.

$\frac{\partial C_n}{\partial r}$과 $\frac{\partial C_n}{\partial u}$의 계산은 두 편도함수가 모두 $3 \times 3$ 블록 대각 행렬이기 때문에 간단하다는 점을 강조합니다. 따라서 $\Delta R$은 모든 접촉 노드에 걸쳐 병렬화될 수 있습니다. $v_{n+1}$에서 $v_n$으로의 역전파는 이전과 동일한 adjoint 방법을 사용하여 구현할 수 있으며, 완전성을 위해 아래 방정식에 $z_{n+1}$ 표기법을 오버로딩하여 제공합니다:

Projective Dynamics로 속도 향상. PD로부터 $W$에 대한 추가 정보를 활용하여, 식 (28)의 adjoint 벡터 $z_{n+1}$을 식 (19)와 비교하여 다음과 같이 다시 쓸 수 있습니다:

이는 자연스럽게 다음과 같은 반복적 솔버로 이어집니다:

이것을 식 (20)과 비교하면, $\Delta P$의 역할이 $\Delta P + \Delta R$로 대체되었음을 알 수 있습니다. $\Delta R$ 계산이 접촉 노드들 사이에서 대규모로 병렬화될 수 있음을 보였기 때문에, 이는 접촉이 많은 옷감 시뮬레이션에 적합하며 로컬-글로벌 솔버의 효율성을 보존합니다.

수렴. 이론적으로, 이러한 반복적 솔버는 스펙트럼 반지름 $\rho[P^{-1}(\Delta P + \Delta R)] < 1$일 때 $z_{n+1}$의 어떤 초기 추측값에서도 수렴이 보장됩니다. 경험적으로, 우리 옷감 시뮬레이션에서는 발산이 드물며, 특히 고정밀 역전파가 필요하지 않을 때(6절) 더욱 그렇습니다. 반복적 솔버가 수렴에 실패할 경우, 식 (29)를 풀기 위해 직접 희소 행렬 솔버로 전환합니다.

확장. 우리는 미분 가능한 옷감 시뮬레이션의 핵심 아이디어를 더 명확하게 제시하기 위해 위 모든 방정식에서 $J_n$의 전체 정의를 의도적으로 생략했습니다. 이제 $J_n$의 역할에 대해 자세히 설명하고 더 복잡한 충돌에 대한 그 의미를 논의합니다. 접촉 표면이 정적이지만 공간적으로 변화하는 표면 법선을 가진 비평면일 경우, $J_n$은 접촉 이벤트가 발생하는 노드의 위치에 의존합니다. 이 경우, 충돌 감지 알고리즘에 의해 주어진 접촉 이벤트 발생 위치를 기반으로 접촉 법선을 추정합니다. $J_n$을 $J_n(x_n, v_n)$으로 대체하는 것은 4.2절의 그래디언트에 아주 최소한의 추가 작업만을 요구하는데, 이는 $v_n$에 대한 그래디언트에 간단한 방식으로 기여하기 때문입니다. 우리가 고려하는 또 다른 유형의 충돌은 노드 간의 자기 충돌입니다. 이 경우, 접촉은 한 쌍의 노드 사이에서 발생하며 접촉 법선은 쌍의 두 노드 사이의 상대적 위치에 의해 정의됩니다. 따라서, 우리는 여전히 $J_n$을 $x_n$의 함수로 정의할 수 있으며, 각 행 블록은 이제 쌍의 두 접촉 노드에 해당하는 두 개의 0이 아닌 요소 블록으로 구성됩니다. 유사하게, 그래디언트 유도는 $J_n$과 $(x_n, v_n)$ 사이의 종속성을 식 (23)에 추가해야 한다는 점을 제외하고는 변경되지 않습니다. Ly 등/2020/Dry Frictional Contact in PD으로부터 노드에만 적용되는 접촉 모델을 계승했기 때문에, 우리는 또한 모서리-모서리 충돌이나 정점-면 충돌과 같은 다른 유형의 자기 충돌을 처리하지 못하는 그 한계도 계승합니다. 이러한 경우에 대한 그래디언트 유도는 향후 연구 과제로 남겨둡니다.

이 섹션에서는 4절에서 제안된 미분 가능한 옷감 시뮬레이션 방법의 수치적 특성을 평가하고 논의합니다. 먼저, 비매끄러움의 원천을 분석하고 고차원 최적화 문제에서의 유용성을 연구하여 그래디언트를 평가합니다. 다음으로, 건성 마찰 모델을 최신 미분 가능한 옷감 시뮬레이션 방법(Liang 등/2019/Differentiable Cloth)의 접촉 모델과 비교하고 그 차이점을 논의합니다. 마지막으로, 역전파에서의 반복적 솔버의 수치적 특성을 분석하고 그 성능을 직접 선형 솔버와 비교합니다.

모든 미분 가능한 시뮬레이터의 근본적인 가정은 그래디언트가 잘 정의될 수 있도록 기저의 물리 시스템이 매끄럽다는 것입니다. 식 (9)는 발생하는 순서대로 세 가지 가능한 불연속성 및 비매끄러움의 원천을 포함합니다: 접촉 집합 $I_n$ 결정, 지역 접촉 프레임을 나타내는 $J_n$ 계산, 그리고 식 (8)의 $C_j^n$에서 세 가지 분기 중 하나를 선택하는 것입니다. 아래에서는 각각의 효과에 대해 자세히 논의합니다.

이러한 경우들에 대한 구배는 향후 연구 과제로 남겨둡니다.

본 섹션에서는 4절에서 제안한 미분 가능한 천 시뮬레이션 방법의 수치적 특성을 평가하고 논의합니다.

먼저 구배를 평가하는데, 비평활성(non-smoothness)의 원인을 분석하고 고차원 최적화 문제에서 그 유용성을 연구합니다.

다음으로, 건조 마찰 모델을 Liang et al./2019/Differentiable cloth simulation의 최신 미분 가능 천 시뮬레이션 방법의 접촉 모델과 비교하고 그 차이점을 논의합니다.

마지막으로, 역전파에서의 반복 솔버의 수치적 특성을 분석하고 그 성능을 직접 선형 솔버와 비교합니다.

이 섹션에서는 4절에서 제안된 미분 가능한 천 시뮬레이션 방법의 수치적 특성을 평가하고 논의합니다. 먼저 그래디언트의 비평활성(non-smoothness)의 원천을 분석하고 고차원 최적화 문제에서의 유용성을 연구하여 그래디언트를 평가합니다. 다음으로, 건식 마찰 모델을 최신 미분 가능한 천 시뮬레이션 방법 Liang/2019/Differentiable cloth simulation의 접촉 모델과 비교하고 그 차이점을 논의합니다. 마지막으로, 역전파에서 우리 반복 솔버의 수치적 특성을 분석하고 그 성능을 직접 선형 솔버와 비교합니다.

모든 미분 가능한 시뮬레이터의 근본적인 가정은 그래디언트가 잘 정의될 수 있도록 기저의 물리 시스템이 평활(smooth)하다는 것입니다. 방정식 (9)는 발생하는 순서대로 세 가지 가능한 불연속성(discontinuities) 및 비평활성의 원천을 포함합니다: 접촉 집합 $I_n$ 결정, 지역 접촉 프레임을 나타내는 $J_n$ 계산, 그리고 방정식 (8)의 $C_j^n$에서 세 가지 분기 중 하나를 선택하는 것입니다. 아래에서는 각각의 영향을 자세히 논의합니다.

접촉 조건 분기의 연속성. 먼저, 아래 실험을 통해 방정식 (8)의 세 분기 사이를 전환하는 것이 방정식 (9)에서 불연속성을 생성하지 않음을 경험적으로 보여줍니다. 구체적으로, $n$번째 시간 단계를 고려하고 $C_j^n$이 고정되어 있고 $J_n$이 $(x_n, v_n)$의 연속 함수라고 가정하면, 방정식 (9)를 입력으로 $(x_n, v_n)$을 받아 $(x_{n+1}, v_{n+1})$을 반환하는 함수로 취급할 때 이 함수가 연속적임을 검증할 것입니다. 다시 말해, $(x_n, v_n)$을 약간 교란해도 해당 $r_{n+1}$이 교란 중에 분기를 전환해야 할지라도 결과적인 $(x_{n+1}, v_{n+1})$에서 급격한 변화(jump)를 일으키지 않을 것입니다. 직관적으로, 방정식 (8)의 세 분기는 함께 연결된 집합 $C_j^n$을 정의하며, 이 집합 내에서 한 분기의 $(r_{n+1,j}, u_{n+1,j})$가 다른 분기로 부드럽게 전환될 수 있습니다.

다음 실험을 통해 분기 전환의 연속성을 경험적으로 검증합니다. 우리는 단단하고, 정적이며, 마찰이 있는 구 위에서 천 조각을 200 타임스텝 동안 시뮬레이션합니다. 구는 하나의 마찰 계수 $\mu$를 가지며, $\mu$를 0에서 0.35까지 변화시키면서 실험을 반복합니다(Fig. 2). $\mu$가 크면, 모든 노드는 큰 정지 마찰 때문에 구에 고정됩니다. $\mu$가 0에 가까우면, 천은 중력에 의해 구 위에서 미끄러지며 시뮬레이션이 끝날 무렵 구에서 떨어집니다. $\mu$가 0.35에서 0으로 변함에 따라, 천 위의 각 노드는 고착(sticking)에서 미끄러짐(slipping)으로, 그리고 결국 떨어짐(takes off)으로의 전환을 겪습니다. 그러나 각 노드는 다른 접촉 법선을 가지고 있기 때문에, 이들 각각이 분기 사이를 전환하는 변곡점은 다릅니다. 전반적으로, 우리가 $\mu$를 점진적으로 변경할 때, 시뮬레이션 종료 시점의 정지 마찰, 동적 마찰, 그리고 마찰 없는 노드 수의 비율 또한 점진적으로 변하여, 분기 간 전환이 시뮬레이션의 물리량 연속성에 어떻게 영향을 미치는지 관찰할 수 있게 합니다.

이 시뮬레이션 실험의 정량적 결과를 Fig. 2(녹색 곡선)에 요약합니다. 구체적으로, 중간 시간 단계(50)와 시뮬레이션 종료 부근(200)에서 세 노드 $A$, $B$, $C$의 속도를 $\mu$의 함수로 그립니다. 우리는 각각 천의 모서리, 가장자리 중앙, 그리고 중앙에서 세 개의 노드를 선택했습니다. 모든 속도는 $\mu$가 커짐에 따라 0으로 수렴하는데, 이는 큰 $\mu$가 이 노드들을 고정시키는 정지 마찰을 유발하기 때문에 예상된 결과입니다. 또한 각 노드의 속도 곡선에서 변곡점을 발견하는데, 이는 정지 마찰과 동적 마찰 사이의 전환을 나타냅니다. 변곡점들은 각 노드의 구 표면 법선이 다르기 때문에 약간 다른 $\mu$ 값에 위치합니다. 우리는 그림에서 방정식 (8)의 분기들이 불연속성을 야기하지 않음을 관찰합니다.

위의 실험이 이러한 분기들이 불연속성을 생성하지 않음을 확인했지만, 분기 전환은 노드가 정지해 있지만 미끄러지기 직전인 경우와 같이 어느 한 분기로 임의로 분류될 수 있는 코너 케이스(corner cases)로 인해 비평활성을 도입한다는 점에 주목합니다. 이러한 코너 케이스에서의 그래디언트는 잘 정의되지 않지만, 이 코너 케이스들이 $C_j^n$에서 차지하는 부분 집합은 측도가 0입니다. 따라서, 우리는 ReLU, 최대 풀링 등과 같은 비평활하지만 연속적인 연산자를 사용하는 현대 딥러닝에서 그래디언트 기반 최적화의 성공을 관찰한 것처럼, 그래디언트 기반 최적화가 여전히 기능할 것으로 기대합니다.

접촉 노드에서의 지역 프레임의 연속성. 두 번째 가능한 불연속성 및 비평활성의 원천은 $J_n$을 계산하는 것에서 비롯되며, 이는 두 단계로 구성됩니다: 접촉 표면 위의 접촉점을 결정하고 지역 법선 및 접선 벡터를 계산하는 것입니다. 두 단계 모두 접촉 표면의 기하학적 표현에 의존합니다. 강체 동역학에 대한 이전 논문들 Popović/2000/Contact Surface Discretization, Werling/2021/Collisions in Rigid-Body에서 지적했듯이, 접촉 표면 이산화는 표면 법선에 급격한 변화(jump)를 유발하며, 따라서 속도 및 위치 계산에서 불연속성을 생성합니다. 천 시뮬레이션에서 이 관찰을 확인하기 위해, 해석적으로 기술된 구를 삼각화된 구(Fig. 2 오른쪽의 분홍색 삼각화된 구 표면)로 대체하여 이전 실험을 반복합니다. 이러한 대체 후, 선택된 접촉 노드로부터의 중간 및 최종 속도에서 급격한 변화를 명확하게 관찰합니다(Fig. 2의 분홍색 곡선). 최종 속도에서의 급격한 변화는 수직 축의 범위가 다르기 때문에 중간 속도에서보다 덜 분명하다는 점에 유의하십시오. 이 관찰은 강체 동역학에 대한 이전 논문들의 유사한 실험과 일치하며, 가능할 때마다 미분 가능한 천 시뮬레이션에서 해석적 표면을 선호해야 함을 시사합니다.

우리는 $J_n$으로 인한 불연속성에 대한 논의를 두 가지 추가적인 언급으로 마칩니다. 첫째, Fig. 2의 접촉 노드 속도 곡선이 소수의 연속적인 구간으로 분할되어 있음을 주목하는데, 이는 강체 동역학의 접촉 이벤트를 논의하는 이전 연구 Popović/2000/Contact Surface Discretization에서 보고된 결과와 일치합니다. 둘째, 장면에 천이 접촉할 수 있는 여러 물체가 포함된 경우, 각 물체의 연속적인 표현에도 불구하고 접촉 이벤트의 위치가 한 물체에서 다른 물체로 급격히 변하는 것을 보는 것은 드물지 않습니다. 이러한 급격한 변화는 자연스럽게 시뮬레이션에서 큰 불연속성으로 이어집니다. 이 연구에서는 이에 대한 해결책을 제공하지 않지만, 밀접하게 관련된 문제가 미분 가능한 렌더링 Li et al./2018/Differentiable Rendering에서 광범위하게 연구되었으며, 향후 여기서 영감을 얻을 수 있을 것입니다.

접촉 집합의 연속성. 마지막이자 가장 흔한 불연속성의 원천은 각 시간 단계에서 접촉 집합을 결정하는 것, 즉 노드를 접촉 집합에 추가해야 하는지 여부에서 비롯됩니다. 분명히, 이 선택 과정은 연속적이지 않습니다. 일정한 접촉 집합을 갖는 것은 그 크기에 관계없이 그래디언트 계산에 큰 문제를 일으키지 않는다는 점은 주목할 가치가 있습니다(Fig. 2). 대신, 시간에 따른 접촉 집합의 변화가 불연속성을 가져옵니다. 왜냐하면 새로운 노드가 접촉 집합에 들어갈 때마다 방정식 (9)의 우변에 충격력을 추가하기 때문입니다.

접촉 집합 변화의 영향을 더 잘 이해하기 위해, 시뮬레이션에서 정적인 구 위에 천 조각을 매달고 천의 아래쪽 절반이 중력으로 인해 구 위로 떨어져 미끄러지게 합니다(Fig. 3 상단). 이 실험에 천의 마찰 계수 $\mu$와 강성 매개변수 $k$의 시스템 식별 작업을 추가합니다: 알려지지 않은 $\mu$와 $k$ 쌍으로 생성된 천의 모션 시퀀스가 주어지면, 시뮬레이션의 각 노드 위치와 주어진 모션 시퀀스의 해당 위치 사이의 제곱 거리의 모든 시간 단계에 대한 합으로 손실 함수를 정의합니다. 우리는 서로 다른 수평 오프셋에 있는 구의 네 가지 설정으로 이 작업을 반복하여, 그들 사이의 접촉 이벤트 빈도를 다양하게 합니다.

손실 함수의 지형을 Fig. 3(중간)에 그리고, 접촉 이벤트의 빈도가 다른 네 가지 설정 간의 평활성을 비교합니다. 언뜻 보기에는 네 지형 모두 똑같이 평활해 보입니다. 그러나 각 지형의 작은 영역을 확대해 보면 연속성과 평활성 사이에 심오한 차이가 있음을 보여줍니다(Fig. 3 하단): 접촉이 설정되고 끊어지는 것이 더 빈번해질수록, 지역적 지형은 더 울퉁불퉁해지는 경향이 있습니다.

요약. 우리는 미분 가능한 천 시뮬레이터에서 그래디언트에 미치는 손상 순서대로 잠재적인 불연속성 및 비평활성의 세 가지 원천을 논의했습니다: 접촉 조건의 분기는 비평활성만 도입하고 연속성은 유지합니다; 접촉 표면 이산화는 인접한 삼각형 간의 법선 점프로 인해 불연속성을 생성하지만, 우리는 여전히 거의 모든 곳에서 연속성을 기대합니다; 접촉 집합에 노드를 추가하거나 삭제하는 것은 충격력의 도입 또는 제거로 인해 빈번하고 가장 심각한 불연속성을 생성합니다.

그래디언트 기반 접근법이 그래디언트 프리 대응법에 비해 갖는 한 가지 장점은 더 빠른 수렴 속도입니다: 일반적으로, 그래디언트 프리 방법은 이웃에서 대량의 샘플로 평가하여 목적 함수의 지역적 지형을 탐색합니다. 그러나 이러한 샘플링 접근 방식은 결정 변수의 차원이 높아짐에 따라 효율성이 급격히 떨어집니다. 이러한 이유로, 우리는 미분 가능한 시뮬레이터의 그래디언트를 사용하는 것이 결정 변수의 수가 많을 때 가장 유익할 것이라고 가정합니다. 우리는 이 가설을 제어 최적화 문제를 사용하여 검증합니다: 각 노드에 시간에 따라 변하지 않는 외부 힘이 가해지는 천 조각을 시뮬레이션합니다. 목표는 천의 중심을 결국 목표 위치로 당기는 힘을 설계하는 것입니다(Fig. 4 상단). 우리는 천의 자유도(DoF)에 대해 네 가지 설정으로 시뮬레이션합니다: 4x4 노드, 5x5 노드, 7x7 노드, 10x10 노드. 따라서 최적화 문제의 변수 수는 각각 48, 75, 147, 300입니다.

요약입니다. 저희는 경사도에 대한 손상 정도에 따라 순서대로 미분 가능 천 시뮬레이터의 잠재적인 불연속성 및 비평활성의 세 가지 원인을 논의했습니다. 접촉 조건의 분기는 비평활성만 도입하고 연속성을 유지합니다. 접촉 표면 이산화는 인접한 삼각형 간 법선의 점프로 인해 불연속성을 생성하지만, 저희는 여전히 거의 모든 곳에서 연속성을 기대합니다. 접촉 집합에 노드를 추가하거나 삭제하는 것은 충격력의 도입 또는 제거로 인해 빈번하고 가장 심각한 불연속성을 만듭니다.

경사도 기반 접근법이 경사도 없는 방법에 비해 갖는 한 가지 장점은 더 빠른 수렴 속도입니다. 일반적으로 경사도 없는 방법은 주변의 대규모 샘플로 목적 함수를 평가하여 지역적 지형을 탐색합니다.

그러나 이러한 샘플링 접근법은 결정 변수의 차원이 높아질수록 효율성이 급격히 떨어집니다.

이러한 이유로, 저희는 미분 가능 시뮬레이터의 경사도를 사용하는 것이 결정 변수의 수가 많을 때 가장 유익할 것이라고 가정합니다.

저희는 이 가설을 제어 최적화 문제를 사용하여 검증합니다. 각 노드에 시간에 따라 변하지 않는 외력이 가해지는 천 조각을 시뮬레이션합니다. 목표는 최종적으로 천의 중심을 목표 위치로 당기기 위해 각 노드의 힘을 설계하는 것입니다 (Fig. 4 상단).

저희는 천의 자유도(DoF)에 대해 네 가지 설정으로 시뮬레이션합니다: 4 × 4 노드, 5 × 5 노드, 7 × 7 노드, 그리고 10 × 10 노드입니다. 따라서 최적화 문제의 변수 수는 각각 48, 75, 147, 300입니다.

Fig. 4는 이 문제에서 다양한 자유도(DoF)에 따른 두 대표적인 경사도 기반 및 경사도 없는 접근법인 L-BFGS-B (Liu/Nocedal/1989)와 CMA-ES (Hansen/2006)의 수렴 속도를 보고합니다.

저희는 가장 큰 설정의 천(300 DoF)으로 시작하여, 힘 값에 대한 다섯 개의 무작위로 선택된 초기 추측값으로 L-BFGS-B와 CMA-ES를 병렬로 실행합니다. 그런 다음 Fig. 4 하단 좌측에 두 방법에 대한 손실 대 시간 스텝 곡선을 그립니다. 여기서 손실은 각 방법의 다섯 병렬 실행에서 얻은 최소 손실을 최적화 과정 동안 소비한 시간 스텝의 함수로 나타낸 것입니다.

이 300-DoF 최적화 문제에서 CMA-ES에 비해 L-BFGS-B의 명백한 속도 향상을 명확히 볼 수 있으며, 이는 저희가 예상했던 바와 같습니다.

추가적으로, 저희는 다른 세 가지 천 설정으로 실험을 반복하고 Fig. 4 하단 우측에 속도 향상 대 자유도(DoF) 곡선을 그립니다. 여기서 속도 향상은 손실이 0.01에 도달했을 때 CMA-ES와 L-BFGS-B가 사용한 시간 스텝 수의 비율입니다.

다시 한번, 저희는 전반적으로 L-BFGS-B의 상당한 속도 향상을 관찰했으며, 가장 높은 자유도를 가진 천에서 가장 큰 속도 향상을 보였습니다.

이 관찰은 역설계 문제에서 미분 가능 천 시뮬레이터의 경사도 사용의 이점을 확인시켜 줍니다.

최적화 과정에서 소모된 시간 단계의 함수로 나타납니다. 이 300-DoF 최적화 문제에서 CMA-ES에 비해 L-BFGS-B가 명백한 속도 향상을 보이는 것을 명확히 확인할 수 있으며, 이는 우리가 예상했던 바와 같습니다.

추가적으로, 저희는 세 가지 다른 옷감 설정으로 실험을 반복하고 Fig. 4의 우측 하단에 속도 향상 대 자유도(DoF) 곡선을 그렸습니다. 여기서 속도 향상은 손실이 0.01에 도달했을 때 CMA-ES와 L-BFGS-B가 사용한 시간 단계 수의 비율입니다.

다시 한번, 저희는 모든 경우에서 L-BFGS-B로부터 상당한 속도 향상을 관찰했으며, 가장 높은 자유도를 가진 옷감에서 가장 큰 속도 향상을 보였습니다.

이 관찰은 역설계 문제에서 저희의 미분 가능한 옷감 시뮬레이터로부터 얻은 그래디언트를 사용하는 것의 이점을 확인시켜 줍니다.

저희는 저희의 미분 가능한 시뮬레이터의 접촉 모델을 Liang et al. [2019]의 최신 미분 가능한 옷감 시뮬레이터의 모델과 비교합니다.

두 모델 모두 침투 없는 시뮬레이션을 보장하고 자체 충돌을 감지합니다 (저희 모델은 노드-노드 충돌, Liang et al. [2019]는 정점-면 및 모서리-모서리 충돌).

하지만, Liang et al. [2019]의 접촉 모델은 접촉력이나 마찰력에 대한 상보성 조건을 고려하지 않아, 바람직하지 않은 아티팩트로 이어질 수 있습니다.

이 문제를 시각화하기 위해, 냅킨이 그릇의 안쪽 표면으로 자유롭게 떨어지는 테스트 시나리오를 고려합니다 (Fig. 5).

Liang et al. [2019]와 저희 연구의 미분 가능한 시뮬레이터 모두 수치적 폭발 없이 냅킨을 시뮬레이션하는 데 성공했습니다.

그러나 저희의 미분 가능한 시뮬레이터에 있는 건식 마찰 접촉 모델은 더 물리적으로 현실적인 움직임을 보여주는 반면(Fig. 5 중간), Liang et al. [2019]의 접촉 모델은 그릇과의 접촉 후 냅킨 크기에 더 급격한 변화를 일으키고 펑 튀는 아티팩트를 발생시킵니다(Fig. 5 상단 및 하단).

이러한 아티팩트는 Liang et al. [2019]의 충돌 처리 알고리즘이 침투 후 노드 위치를 수정할 때 그러한 업데이트가 고착 접촉력을 필요로 하는지 확인하지 않기 때문에 설명될 수 있습니다.

냅킨이 그릇의 오목한 안쪽 표면과 접촉하게 될 때, 이러한 직접적인 수정은 추가적인 탄성 에너지를 주입합니다.

이 실험은 미분 가능한 옷감 시뮬레이션에서 더 발전된 접촉 및 마찰 모델을 지원하는 것이 실행 가능하고 유익하다는 것을 확인시켜 줍니다.

더 물리적으로 현실적인 움직임(그림 5 중간)을 보여주는 반면, Liang/2019/DiffCloth의 접촉 모델은 냅킨이 그릇과 접촉한 후 크기가 더 급격하게 변하며 튀는 현상을 유발합니다(그림 5 위, 아래). 이러한 현상은 Liang/2019/DiffCloth의 충돌 처리 알고리즘이 관통 후 노드 위치를 수정할 때, 이러한 업데이트가 고착 접촉력(sticky contact forces)을 필요로 하는지 확인하지 않기 때문에 설명될 수 있습니다. 냅킨이 그릇의 오목한 안쪽 표면에 닿게 되면, 이러한 직접적인 수정은 추가적인 탄성 에너지를 주입하게 됩니다. 이 실험은 미분 가능한 옷감 시뮬레이션에서 더 발전된 접촉 및 마찰 모델을 지원하는 것이 실현 가능하고 유익하다는 것을 확인시켜 줍니다.

우리의 미분 가능한 옷감 시뮬레이션의 또 다른 핵심 구성 요소는 PD의 미리 분해된 행렬 P를 활용하는 식 (29)의 반복 솔버입니다. 표준적인 미분 가능 시뮬레이터에서는 식 (29)를 푸는 것이 (P−ΔP−ΔR) 전체를 하나의 행렬로 취급하는 희소 행렬 솔버로 수행될 것입니다. 제안된 반복 솔버의 성능을 이해하기 위해, 우리는 두 가지 벤치마크 테스트를 설계했습니다: 매달린 냅킨이 합성 바람에 따라 움직이는 “바람(Wind)” 테스트와 리본이 경사면을 따라 미끄러지는 “경사(Slope)” 테스트입니다(그림 6). 이 두 테스트는 접촉 처리의 두 가지 극단적인 경우를 나타냅니다: “바람” 테스트의 냅킨은 접촉이나 자기 충돌이 거의 없는 반면, “경사” 테스트의 리본은 모든 노드가 평면과 접촉하고 있습니다. 그런 다음 두 테스트 모두에서 우리 반복 솔버의 시간 비용을 희소 LU 솔버와 비교합니다. 우리는 두 솔버를 모두 Eigen Guennebaud/2010/Eigen을 사용하여 구현했으며, (P −ΔP −ΔR)이 일반적으로 대칭 행렬이나 양의 정부호 행렬이 아니기 때문에 촐레스키 분해나 켤레 기울기법과 같은 더 특화된 희소 행렬 솔버의 사용을 막기 때문에 LU 분해를 선택했습니다. 반복 솔버에 대해서는, 반복의 종료 조건을 제어하는 낮은 정밀도(1e-4)와 높은 정밀도(1e-6) 수렴 임계값으로부터 두 가지 결과를 보고합니다. 우리는 반복 솔버로 계산된 그래디언트가 직접 솔버와 일치하기 시작할 때까지 이 임계값을 1e-1에서 1e-9까지 변화시켜 찾았으며, 이를 실제 참값 그래디언트로 간주합니다. 우리는 우리 방법의 확장성을 테스트하기 위해 세 가지 메시 해상도로 실험을 반복합니다.

두 테스트의 통계는 표 1에 요약되어 있습니다. 전반적으로, 역전파에서 반복 솔버가 직접 솔버보다 빠르며, 메시 해상도를 높일수록 속도 향상이 더 커집니다. 속도 향상은 또한 낮은 정밀도의 임계값에서 더 뚜렷한데, 이는 이전 PD 관련 논문들 Bouaziz/2014/PD, Du/2021/DiffPD, Liu/2017/Quasi-Newton에서 보고된 결과와 일치합니다. 시간을 추가로 분해해보면 선형 시스템을 푸는 것이 역전파 시간의 대부분을 차지하므로, 솔버 선택의 어떠한 개선도 지배적인 긍정적 효과를 가집니다. 비록 낮은 정밀도의 결과는 높은 정밀도의 결과만큼 실제 그래디언트와 일치하지 않을 수 있지만, 그들의 역전파가 훨씬 빠르며 여전히 그래디언트 기반 최적화에 도움이 될 수 있습니다. 이는 불완전한 그래디언트라도 하강 방향을 따르기만 하면 경사 하강법 알고리즘을 수렴으로 이끌 수 있기 때문입니다. 이는 섹션 6의 실험에서 경험적으로 확인되었으며, 대부분의 경우 낮은 정밀도의 수렴 임계값을 사용하고도 성공적인 그래디언트 기반 최적화 결과를 관찰했습니다. 또한 표 1의 “기타(Other)” 및 “ΔR” 열에 시간 비용이 포함된 접촉 관련 연산자들은 역전파에 거의 추가적인 오버헤드를 더하지 않는다는 점도 언급할 가치가 있습니다. 마지막으로, 우리는 한 실험(“바람” 테스트에서 48 × 48, 임계값 1e-6)에서 반복 솔버의 드물지만 무시할 수 없는 실패 사례를 관찰했습니다. 실패한 15%의 타임스텝에 대해서는 희소 LU 솔버로 전환했으며, 이로 인해 역전파에 11.5%의 추가 시간이 소요되었습니다.

이는 6절의 실험에서 경험적으로 확인되었으며, 대부분의 경우 낮은 정밀도의 수렴 임계값을 사용했음에도 불구하고 성공적인 경사도 기반 최적화 결과를 관찰했습니다. 또한, 표 1의 "Other"와 "$\\Delta R$" 열에 시간 비용이 포함된 접촉 관련 연산자들은 역전파에 아주 적은 추가 오버헤드만을 더한다는 점도 언급할 가치가 있습니다. 마지막으로, "Wind" 실험(표 1에서 48 × 48, 임계값 1e-6)에서 반복 솔버의 드물지만 무시할 수 없는 실패 사례를 관찰했습니다. 실패한 15%의 타임스텝에 대해서는 희소 LU 솔버로 전환했으며, 이로 인해 역전파에 11.5%의 추가 시간이 소요되었습니다.

이 섹션에서는 우리가 제안한 건성 마찰 접촉을 포함한 미분 가능 천 시뮬레이션의 이점을 활용할 수 있는 다양한 천 관련 응용 사례를 시연합니다. 우리는 모든 실험을 여러 무작위 시드로 반복하고, 모든 방법에 대해 동일한 무작위 시드 집합(따라서 동일한 초기 매개변수 집합)을 사용합니다. 최적화 결과와 다른 경사도 미사용 알고리즘과의 비교를 표 2에 보고합니다. 표 3에서는 각 최적화 방법이 최소 최종 손실에 도달하는 데 사용된 타임스텝과 역전파 중 우리 반복 솔버의 수렴 비율을 보고합니다. 경사도 미사용 알고리즘의 경우, 타임스텝 수는 순방향 시뮬레이션의 총 스텝 수(각 스텝은 시뮬레이션을 시간 $h$만큼 진행)를 계산합니다. 우리의 경사도 기반 방법의 경우, 역전파 스텝 수를 포함하기 위해 이 숫자를 두 배로 계산합니다. 실제로는 역전파가 순방향 시뮬레이션보다 훨씬 적은 시간이 걸린다는 점에 유의해야 합니다. 우리는 부록 A에 모든 예제의 순방향 시뮬레이션과 역전파 실행에 대한 월 클럭 타임을 포함했습니다. 표 2와 아래의 모든 손실 대 타임스텝 그래프에서, 우리는 모든 무작위 시드에 걸쳐 달성된 최소 손실을 보고하거나 최소 손실 포락선을 그립니다. 각 무작위 시드에 대한 전체 최적화 결과는 부록 C를 참조하십시오. 아래에서는 각 응용 프로그램을 설명하고 주요 결과를 강조합니다. 각 예제에 대한 더 자세한 정보는 부록 B에 상세히 기술되어 있습니다.

구현. 우리는 시뮬레이터의 백본을 C++로 작성하고 행렬 및 벡터 연산을 위해 Eigen을 사용합니다. 각 응용 프로그램은 최적화 문제를 정의하며, 우리는 이를 L-BFGS-B로 해결합니다. 이는 우리 천 시뮬레이터의 미분 가능성을 활용하면서 매개변수를 물리적으로 타당한 범위로 제한할 수 있는 고전적인 경사도 기반 최적화기입니다. 우리는 Moré-Thuente 라인 서치를 구현하는 L-BFGS-B를 위해 LBFGS++ (Yixuan/2021/LBFGS++)의 구현을 사용합니다 (Moré/1994/Line Search).

먼저 두 가지 시스템 식별 예제인 "T-shirt"(그림 7)와 "Sphere"(그림 8)를 보여주는 것으로 시작하겠습니다.

ix A. Table 2와 아래의 모든 손실 대 시간 스텝 그래프에서, 우리는 모든 랜덤 시드에 걸쳐 달성된 최소 손실을 보고하거나 최소 손실 포락선을 그립니다. 각 랜덤 시드에 대한 전체 최적화 결과는 부록 C를 참조하십시오. 아래에서는 각 응용 프로그램을 설명하고 주요 결과를 강조합니다. 각 예제에 대한 더 자세한 정보는 부록 B에 상세히 설명되어 있습니다.

구현. 시뮬레이터의 백본은 C++로 작성했으며, 행렬 및 벡터 연산을 위해 Eigen을 사용합니다. 각 응용 프로그램은 최적화 문제를 정의하며, 우리는 이를 L-BFGS-B로 해결합니다. L-BFGS-B는 우리 옷감 시뮬레이터의 미분 가능성을 활용하면서 매개변수를 물리적으로 타당한 범위로 제한할 수 있는 고전적인 그래디언트 기반 옵티마이저입니다. L-BFGS-B를 위해 LBFGS++ [Yixuan/2021/LBFGS++]의 구현을 사용했으며, 이는 Moré-Thuente 라인 서치 [Moré/1994/Line Search]를 구현합니다.

먼저 두 가지 시스템 식별 예제인 "T-shirt"(Fig. 7)와 "Sphere"(Fig. 8)를 보여주는 것으로 시작하겠습니다.

T-shirt. "T-shirt" 예제에서는, 매개변수화된 사인 함수로 생성된 인공적인 바람을 맞는 걸려있는 티셔츠의 동작 시퀀스가 주어집니다. 목표는 동작 데이터로부터 옷감의 재질 매개변수(1 자유도)를 추정하고, 바람 모델 매개변수(3차원에서 사인 함수의 진폭, 위상, 주파수를 제어하는 5 자유도)를 식별하는 것입니다. 손실 함수는 시뮬레이션에서 얻은 티셔츠의 노드 위치와 주어진 동작 시퀀스 간의 L2 거리로 정의합니다.

5절의 "Wind" 예제와 달리, 이 예제에서는 바람에 의해 티셔츠의 앞면과 뒷면 레이어 간의 자가 충돌로 인해 접촉과 마찰이 훨씬 더 빈번하게 발생합니다. Fig. 7에서 최적화 전후의 매개변수를 사용한 티셔츠 시뮬레이션을 보여주고, Table 2와 Table 3에서 세 가지 옵티마이저인 L-BFGS-B, CMA-ES, 그리고 (1+1)-ES를 비교합니다. CMA-ES와 (1+1)-ES는 모두 표준적인 그래디언트-프리 진화 전략(ES)입니다. Fig. 7과 Table 2, 3으로부터 세 방법 모두 주어진 입력과 시각적으로 동일한 동작 시퀀스를 만드는 시스템 매개변수를 최적화하는 데 성공했지만, L-BFGS-B는 그래디언트라는 추가적인 정보를 활용하여 훨씬 더 빠르게 수렴한다는 결론을 내릴 수 있습니다.

Sphere. 우리 시뮬레이터의 건식 마찰 접촉 효과를 강조하기 위해, 구와 옷감 사이의 마찰 계수를 추정하여 구와 상호작용하는 옷감의 동작 시퀀스를 일치시키는 것을 목표로 하는 "Sphere" 예제를 만들었습니다. 이 예제에서는 사각형 옷감 조각을 구 위에 자유 낙하시키는데, 구와 접촉한 후의 움직임은 주로 마찰 계수에 의해 제어됩니다. 이 예제는 옷감 노드 간의 자가 충돌과 구와의 외부 접촉을 모두 포함합니다.

위의 예제와 유사하게, L-BFGS-B와 두 가지 ES 베이스라인을 모두 실행하고 그 통계를 Table 2와 3에 보고합니다. 모든 방법은 주어진 입력과 시각적으로 동일한 동작 시퀀스를 생성하는 마찰 계수로 최적화할 수 있습니다. 하지만 이 최적화 문제는 단 하나의 매개변수만 가지고 있고, 5.1절의 접촉 집합의 연속성 실험에서 시사하듯이 마찰 계수의 함수로서 충돌 집합의 큰 변화로 인해 손실 함수의 지형이 울퉁불퉁하다는 점에서 특별합니다. 이 경우, 진화 전략은 샘플들이 마찰 접촉의 전체 범위를 자유롭게 탐색할 수 있기 때문에 더 낮은 최종 손실을 달성할 수 있는 반면, L-BFGS-B는 지역 최적점에 갇힐 수 있습니다.

en input. 하지만 이 최적화 문제는 단 하나의 매개변수만 가지고 있고, 5.1절의 접촉 집합의 연속성 실험에서 제안된 바와 같이 마찰 계수의 함수로서 충돌 집합의 큰 변화로 인해 손실 함수의 지형이 울퉁불퉁하다는 점에서 특별합니다. 이 경우, 진화 전략은 샘플들이 마찰 접촉의 전체 범위를 자유롭게 탐색할 수 있기 때문에 더 낮은 최종 손실을 달성할 수 있는 반면, L-BFGS-B는 지역 최적해에 갇힐 수 있습니다.

미분 가능한 옷감 시뮬레이터로부터 이점을 얻을 수 있는 또 다른 연구 분야는 로봇 보조 의복 착용입니다.

이러한 과제에 대한 주류 해결책은 일반적으로 미분 가능한 옷감 시뮬레이터가 사용 가능해지기 전에는 진화 전략, 강화 학습 또는 역동역학과 같은 그래디언트 프리 방법이었습니다.

우리는 로봇 보조 의복 착용에서 그래디언트의 사용법을 보여주기 위해 두 가지 예제, 즉 "모자(Hat)"(그림 9)와 "양말(Sock)"(그림 10)을 제시합니다.

두 예제 모두에서 목표는 운동학적 로봇 매니퓰레이터가 모자나 양말을 착용시키기 위한 궤적을 찾는 것입니다.

매니퓰레이터의 엔드 이펙터는 옷감 메쉬에서 미리 지정된 몇 개의 정점을 잡고, B-스플라인으로 매개변수화된 운동학적 궤적을 따라 당깁니다.

B-스플라인의 매개변수("모자"에서는 18 자유도, "양말"에서는 36 자유도)를 최적화함으로써, 우리는 매니퓰레이터가 구의 꼭대기에 있는 목표 위치에 도달할 때까지 모자를 움직이도록 지시할 수 있습니다.

"모자"에서의 손실 함수는 마지막 타임스텝에서 모자의 최종 위치와 미리 정의된 목표 위치 사이의 L2 거리로 정의하며, 이 목표 위치는 모자의 정지 형태를 구의 꼭대기로 평행 이동하여 생성합니다.

"양말"의 손실 함수는 시뮬레이션의 중간과 끝에서 평가된, 양말에서 수동으로 선택한 몇몇 핵심 지점들의 원하는 위치와 시뮬레이션된 위치 사이의 L2 거리로 정의됩니다.

수중에 있는 그래디언트 정보를 가지고, 우리는 L-BFGS-B 옵티마이저를 실행하여 궤적의 매개변수를 조정하고 그 성능을 CMA-ES 및 (1+1)-ES와 비교합니다(표 2 및 3).

우리는 동일한 타임스텝 내에서 L-BFGS-B가 그래디언트 프리 베이스라인보다 더 나은 해로 상당히 더 빠르게 수렴한다는 것을 확인했습니다(그림 9 및 그림 10).

우리는 미분 가능한 옷감 시뮬레이터에 의해 가능해진 L-BFGS-B의 빠른 수렴이 그래디언트 프리 방법에 비해 명백한 이점이라고 안전하게 결론 내릴 수 있습니다.

다음으로 제시할 응용 분야는 '드레스'로, 드레스의 동적 움직임이 특정 디자인 의도를 만족하도록 옷감 재질 파라미터를 최적화하는 것을 목표로 하는 역설계 예제입니다.

구체적으로, 저희는 회전하는 드레스의 재질 파라미터를 최적화하여 드레스가 회전한 후 원뿔 모양 드레스의 꼭지각이 목표값(본 실험에서는 100도)과 일치하도록 합니다.

손실 함수는 목표 꼭지각에 해당하는 옷단 높이와 시뮬레이션 마지막 프레임에서 드레스 옷단의 점들로부터 추정된 꼭지각 간의 차이로 정의합니다.

저희는 L-BFGS-B와 두 ES 기반 모델의 최적화 결과를 표 2에 보고하고, 최적화 전후의 시뮬레이션 결과를 그림 1에서 시각화합니다.

이전 과제들과 유사하게, L-BFGS-B가 더 적은 타임 스텝을 사용하여 더 나은 최적화 결과를 달성하는 것을 확인했습니다.

다음으로 소개할 응용 분야는 "드레스" 예제로, 드레스의 동적 움직임이 특정 디자인 의도를 만족하도록 천의 재질 파라미터를 최적화하는 역설계 예제입니다. 구체적으로, 회전하는 드레스가 회전 후 형성하는 원뿔 모양의 꼭지각이 목표값(이 실험에서는 100도)과 일치하도록 재질 파라미터를 최적화합니다. 우리는 손실 함수를 목표 꼭지각에 해당하는 옷단 높이와 시뮬레이션 마지막 프레임에서 드레스 옷단의 점들로부터 추정된 꼭지각 간의 차이로 정의합니다. 우리는 L-BFGS-B와 두 가지 ES(진화 전략) 베이스라인의 최적화 결과를 표 2에 보고하고, 최적화 전후의 시뮬레이션 결과를 그림 1에서 시각화합니다. 이전 과제들과 유사하게, 우리는 L-BFGS-B가 더 적은 타임스텝을 사용하여 더 나은 최적화 결과를 달성하는 것을 확인했습니다.

이 섹션에서는 실사-시뮬레이션(real-to-sim) "깃발" 예제(그림 11)를 제시합니다. 이 예제에서는 이전 연구 White et al. 2007에서 바람에 펄럭이는 깃발에 대해 캡처된 실제 모션 시퀀스를 사용하고, 시뮬레이션에서 해당 장면의 디지털 트윈을 재구성하는 것을 목표로 합니다. 여기에는 깃발의 재질 파라미터를 추정하는 것뿐만 아니라, 캡처 당시의 알 수 없는 바람 조건을 모델링하는 것도 포함되는데, 이는 미지의 자유도를 가진 복잡한 확률적 모델 때문에 특히 어렵습니다. 우리는 각 타임스텝에서의 바람 힘을 장면의 중심 근처에 적용되고 중심까지의 거리의 역수에 비례하여 공간적으로 감쇠하는 3D 힘으로 모델링합니다. 바람 힘의 일시적인 특성을 모델링하기 위해, 우리는 파라미터화된 주파수와 위상 오프셋을 가진 시간의 함수로서 사인파의 3D 벡터 크기를 조절합니다. 종합적으로, 재질과 바람 모델은 최적화될 8차원 파라미터 공간을 정의합니다. 우리는 손실 함수를 시뮬레이션의 각 타임스텝에서 모든 노드의 위치와 주어진 실제 모션 시퀀스 간의 L2 거리로 정의합니다.

우리는 이 과제를 L-BFGS-B와 두 가지 ES 방법을 사용하여 해결하고 그 성능을 표 2, 3, 그리고 그림 11에 보고합니다. 세 가지 방법 모두 최적화 후 손실을 상당히 줄였지만, L-BFGS-B가 더 낮은 최종 손실을 달성했습니다. 우리는 최적화 전후의 6개 주요 노드의 궤적(주황색)을 모션 캡처 데이터의 실제 참조 궤적(노란색)과 함께 그림 11에 그렸습니다. 그림 11의 왼쪽과 오른쪽 이미지를 비교함으로써, L-BFGS-B 옵티마이저가 최적화 후 시뮬레이션된 궤적과 실제 궤적 간의 불일치를 상당히 줄이는 것을 볼 수 있습니다. 실사-시뮬레이션 매칭은 0이 아닌 최종 손실에서 알 수 있듯이 여전히 불완전한데, 이는 우리가 사용한 합성 바람 모델의 단순한 특성 때문일 수 있다고 생각합니다. 예를 들어 신경망과 같은 더 정교하고 표현력 있는 바람 모델이 실제 물리 현상을 모델링하고 매칭하는 데 더 나은 역할을 할 수 있으며, 이는 향후 연구 과제로 남겨둡니다.

이 섹션을 고급 "모자" 과제로 마무리합니다. 고정된 시작 위치에서의 이전 개방 루프 궤적 최적화와는 달리, 이 새로운 과제의 목표는 머리 주위의 고정된 반구 내에서 샘플링된 임의의 시작 위치에서 모자를 씌울 수 있는 일반화 가능한 폐쇄 루프 컨트롤러를 훈련하는 것입니다. 구체적으로, 우리는 현재 과제의 상태 $s_t$를 입력으로 받아 각 타임스텝 $t$에서 행동 벡터 $a_t$를 출력하는 폐쇄 루프 제어 정책 $a_t = \pi_\theta(s_t)$를 훈련합니다. 상태 벡터 $s_t$는 모자 노드 위치, 모자의 방향, 그리고 두 엔드 이펙터 사이의 거리를 포함하며, 행동 벡터 $a_t$는 다음 타임스텝에서 두 엔드 이펙터의 위치를 나타냅니다. 우리는 제어 정책 $\pi_\theta$를 64개의 뉴런과 tanh 활성화 함수를 가진 두 개의 완전 연결 은닉층으로 구성된 신경망(총 117,126개의 파라미터)으로 표현합니다. 경사도 기반 최적화로 컨트롤러를 훈련하기 위해, 우리는 그림 13에 설명된 대로 신경망 정책을 우리의 미분 가능 시뮬레이터와 통합합니다.

훈련 중 각 에포크에서, 우리는 모자의 시작 위치 20개를 무작위로 샘플링하고 모든 시뮬레이션 시퀀스에서 평균을 낸 손실을 계산합니다. 각 시퀀스의 손실 함수는 $L = L_{\text{deform}} + L_{\text{target}} + L_{\text{dir}}$로 정의되는데, 여기서 $L_{\text{deform}}$은 두 엔드 이펙터 사이의 거리 변화를 사용하여 모자의 늘어남을 측정하고, $L_{\text{target}}$은 모자의 마지막 타임스텝 포즈와 목표 포즈 사이의 L2 거리를 측정하며, $L_{\text{dir}}$은 모자의 마지막 타임스텝 포즈와 목표 포즈 간의 방향 차이입니다. 그런 다음 손실의 경사도는 우리의 미분 가능 시뮬레이션 프레임워크에 의해 계산되고, 경사도 기반 옵티마이저(Adam [Kingma and Ba 2017])에 의해 정책 파라미터를 업데이트하는 데 사용됩니다. 테스트를 위해, 우리는 반구 표면에서 균일하게 샘플링된 20개의 고정된 시작 위치 구성에서 컨트롤러를 평가합니다.

우리의 방법을 경사도 없는 방법과 비교하기 위해, 우리는 로봇 보조 의복 착용 문제에서 복잡한 신경망 정책을 훈련하는 데 널리 사용되어 온 강화 학습(RL)으로도 이 과제를 해결합니다 [Clegg et al. 2018]. 구체적으로, 우리는 우리의 경사도 기반 방법을 최신 RL 알고리즘인 PPO [Schulman et al. 2017]와 비교합니다. 우리는 PPO를 훈련할 때 각 반복에서 유사하게 반구에서 시작 위치를 샘플링합니다. 공정한 비교를 위해, 우리는 보상 함수 $r_t$를 $L$의 음수 값에 상수를 더한 합으로 설계하여 음수 보상을 피하고, 환경의 관찰은 $s_t$로 합니다. 우리는 Adam과 PPO를 공통 메트릭으로 $L$을 사용하여 평가하고 최적화 곡선을 그림 12의 하단에 그립니다. 두 방법 모두 비슷한 최종 손실에 도달하는 것을 볼 수 있지만, 우리의 미분 가능 시뮬레이션 프레임워크를 사용하면 경사도 기반 방법이 85배의 속도 향상으로 최종 손실에 도달합니다 (Adam은 23,200 타임스텝 사용, PPO는 1,978,000 타임스텝 사용).

이 섹션은 고급 과제인 "모자" 태스크로 마무리합니다. 고정된 시작 위치를 사용하는 이전의 개방 루프 궤적 최적화와 달리, 이 새로운 태스크의 목표는 머리 주위의 고정 반경 반구에서 샘플링된 임의의 시작 위치에서 모자를 씌울 수 있는 일반화 가능한 폐쇄 루프 컨트롤러를 훈련시키는 것입니다.

구체적으로, 우리는 폐쇄 루프 제어 정책 $a_t = \pi_\theta(s_t)$를 훈련시킵니다. 이 정책은 태스크의 현재 상태 $s_t$를 입력으로 받아 각 타임스텝 $t$에서 행동 벡터 $a_t$를 출력합니다. 상태 벡터 $s_t$는 모자 노드 위치, 모자의 방향, 그리고 두 엔드 이펙터 사이의 거리를 포함하며, 행동 벡터 $a_t$는 다음 타임스텝에서 두 엔드 이펙터의 위치를 나타냅니다. 우리는 제어 정책 $\pi_\theta$를 64개의 뉴런과 tanh 활성화 함수를 가진 두 개의 완전 연결 은닉층으로 구성된 신경망으로 표현합니다(총 117126개의 파라미터). 경사도 기반 최적화로 컨트롤러를 훈련시키기 위해, 우리는 Fig. 13에 설명된 대로 신경망 정책을 우리의 미분 가능한 시뮬레이터와 통합합니다.

훈련 중 각 에포크에서, 우리는 모자의 시작 위치 20개를 무작위로 샘플링하고 모든 시뮬레이션 시퀀스로부터 평균화된 손실을 계산합니다. 각 시퀀스의 손실 함수는 $L = L_{deform} + L_{target} + L_{dir}$로 정의됩니다. 여기서 $L_{deform}$은 두 엔드 이펙터 사이의 거리 변화를 사용하여 모자의 늘어남을 측정하고, $L_{target}$은 모자의 마지막 타임스텝 자세와 목표 자세 사이의 L2 거리를 측정하며, $L_{dir}$은 모자의 마지막 타임스텝 자세와 목표 자세 사이의 방향 차이입니다. 그런 다음 손실의 경사도는 우리의 미분 가능한 시뮬레이션 프레임워크에 의해 계산되고, 경사도 기반 최적화기(Kingma/2017/Adam의 Adam)에 의해 정책 파라미터를 업데이트하는 데 사용됩니다. 테스트를 위해, 우리는 반구 표면에서 균일하게 샘플링된 20개의 고정된 시작 위치 구성으로부터 컨트롤러를 평가합니다.

우리의 방법을 경사도 없는 방법과 비교하기 위해, 우리는 강화 학습(RL)으로도 이 태스크를 해결합니다. 강화 학습은 로봇 보조 의복 착용 문제에서 복잡한 신경망 정책을 훈련시키는 데 널리 사용되어 왔습니다(Clegg/2018/Robot-assisted dressing). 구체적으로, 우리는 우리의 경사도 기반 방법을 최신 RL 알고리즘인 PPO(Schulman/2017/PPO)와 비교합니다. PPO를 훈련시킬 때도 각 반복에서 반구로부터 시작 위치를 유사하게 샘플링합니다. 공정한 비교를 위해, 우리는 보상 함수 $r_t$를 $L$의 음수 값에 음수 보상을 피하기 위한 상수를 더한 합으로 설계하고, 환경 관측은 $s_t$로 합니다.

우리는 Adam과 PPO를 공통 메트릭으로 $L$을 사용하여 평가하고, 최적화 곡선을 Fig. 12 하단에 그립니다. 두 방법 모두 유사한 최종 손실에 도달하는 것을 볼 수 있지만, 우리의 미분 가능한 시뮬레이션 프레임워크를 사용하면 경사도 기반 방법이 85배의 속도 향상으로 최종 손실에 도달합니다(Adam은 23200 타임스텝 사용, PPO는 1978000 타임스텝 사용).

Fig 1: 본 논문에서는 건식 마찰 접촉이 포함된 미분 가능한 의상 시뮬레이터를 제시하고, 이 회전 드레스(자유도 10902, 시간 스텝 125, 스텝 크기 1/120초)를 디자인하는 것을 포함한 여러 다운스트림 응용 분야에서의 효용성을 입증합니다. 목표는 회전 후 드레스가 형성하는 원뿔의 꼭지각이 원하는 값(이 예시에서는 100도)에 도달하도록 드레스의 재질 파라미터를 최적화하는 것입니다. 왼쪽과 가운데: 회전 전후의 최적화된 드레스. 오른쪽 위와 오른쪽 아래: 미분 가능한 시뮬레이터를 사용한 재질 파라미터 최적화 전후의 회전 드레스 모션 시퀀스. 최적화 전후의 최종 꼭지각은 각각 39.06도와 100.30도입니다.

Fig 2: 단단한 구(오른쪽) 위에서 미끄러지는 천 조각을 시뮬레이션하여 접촉 조건과 표면 기하학으로 인한 불연속성과 비평활성을 연구합니다(섹션 5.1). 두 열의 플롯은 50번째와 200번째 시간 스텝에서 세 개의 접촉 노드의 속도를 보여줍니다. "이산화(discretized)"와 "연속(continuous)" 레이블은 이 속도들이 삼각 분할된 구(구 표면에 분홍색 삼각형으로 시각화됨) 또는 매끄러운 구(녹색 구 표면으로 시각화됨)로 계산되었는지를 나타냅니다.

Fig 3: 네 개의 다른 수평 위치에서 천 조각과 단단한 구 사이의 충돌을 시뮬레이션하여, 충돌 횟수 변화가 시뮬레이션의 평활성에 미치는 영향을 연구합니다. 위: 천이 구와 접촉할 것으로 예상되는 시간 스텝 중 하나의 렌더링. 네 개의 장면은 충돌 횟수 순으로 정렬되어 있습니다. 아래: 의상의 마찰 계수 𝜇와 강성 𝑘의 함수로 정의된 손실의 랜드스케이프(섹션 5.1). 랜드스케이프의 확대된 뷰는 충돌이 더 많이 발생할수록 불연속성과 비평활성이 증가하는 것을 보여줍니다.

Fig 4: 날아가는 냅킨. 미분 가능한 의상 시뮬레이션에서 고차원 결정 변수를 최적화하기 위한 그래디언트 기반 방법과 그래디언트 프리 방법 간의 비교. 위: 300개의 변수로 매개변수화된 외부 힘을 받는 천 조각의 모션 시퀀스. 목표는 천이 목표 위치에서 끝나도록 적절한 외부 힘을 찾는 것입니다. 손실 함수는 시뮬레이션된 모션 시퀀스와 참조 모션 간의 위치 불일치로 정의됩니다. 왼쪽 아래: 그래디언트 기반(L-BFGS-B) 및 그래디언트 프리(CMA-ES) 방법의 손실 대 시간 스텝 곡선(300 자유도). L-BFGS-B와 CMA-ES 모두 동일한 랜덤 시드를 사용합니다. 오른쪽 아래: 외부 힘 매개변수화의 자유도를 변경하고 실험을 세 번 반복합니다. 각 실험에 대해, 그래디언트 프리 방법과 그래디언트 기반 방법이 수렴하거나 시간 예산을 소진할 때까지 사용된 시간 스텝 수의 비율을 계산하고, 이를 속도 향상 대 자유도 곡선으로 플롯합니다.

Table 1: "바람(Wind)" 및 "경사(Slope)" 테스트에서 다양한 메시 해상도 하의 역전파에서 반복 솔버(제안 방법)와 희소 LU 직접 솔버 간의 비교. "Res." 열의 숫자는 메시 해상도를 보고합니다. "Solver" 열의 괄호 안 숫자는 자코비 솔버의 수렴을 제어하는 엡실론 값을 나타냅니다. "Backprop Time" 열은 역전파의 순수 시간을 보고하며, 다음 다섯 개 열로 세분화됩니다. 이들의 비율 합은 100%입니다: "ΔP"와 "ΔR"은 각각 ΔP와 ΔR을 조립하는 데 소요된 시간을 보고하고, "Iter."와 "Direct"는 각 솔버에 의한 시간 비용을 보여주며, 이 네 열에 포함되지 않는 연산은 "Other" 열에 있습니다. "Fail" 열은 제안된 반복 솔버에서 비수렴을 보인 시간 스텝 수와 총 시간 스텝 수 사이의 비율을 보고합니다. "Speedup" 열은 각 테스트에서 "Backprop. Time"에 대한 직접 솔버의 시간과 제안 방법의 시간 사이의 비율입니다.

Table 2: 섹션 6의 모든 예제("모자 컨트롤러" 제외)에 대한 그래디언트 기반 최적화와 그래디언트 프리 최적화의 성능 비교. "Param #" 및 "Seed #" 열은 각각 실험에 사용된 최적화 파라미터 수와 랜덤 시드 수를 보고합니다. 모든 방법은 동일한 초기 랜덤 시드 세트로 최적화를 시작합니다. "Min Init. Loss" 열은 모든 랜덤 시드에 걸쳐 최소 초기 손실을 보고합니다. "Optimized Loss Percentage" 열은 각 방법에 대해 모든 랜덤 시드에 걸쳐 도달한 최소 초기 손실의 백분율(0-100%)로 최적화된 손실을 보고합니다: "Final"은 최적화가 중지되었을 때 도달한 손실을 보고하고, "Equal Step #"은 L-BFGS-B 수렴에 사용된 동일한 시간 스텝 수를 사용하여 CMA-ES 및 (1+1)-ES가 도달한 손실을 보고합니다. 손실 백분율 값은 녹색-주황색 색상 스케일을 사용하여 색칠합니다: 녹색은 0%에 해당하고 주황색은 100%에 해당합니다.

Fig 5: 그릇. 두 개의 미분 가능한 의상 시뮬레이터인 Liang et al. [2019](위)와 본 연구(중간)의 접촉 모델을 사용하여 냅킨(50 × 50 × 2 삼각형, ℎ= 5ms, 500 시간 스텝)의 모션 시퀀스를 시뮬레이션합니다. 면적 비율(아래)은 현재 시간 스텝에서의 냅킨 면적과 정지 형태에서의 면적 사이의 비율입니다. 전체 모션은 비디오를 참조하십시오.

Fig 6: 바람과 경사. 역전파에서 반복 솔버와 직접 솔버를 비교하기 위한 두 벤치마크 테스트의 모션 시퀀스. 위: "바람" 테스트(ℎ= 1/90s, 200 시간 스텝)로, 합성 바람 아래에서 천 조각이 움직입니다. 아래: "경사" 테스트(ℎ= 1/100s, 300 시간 스텝)로, 리본이 기울어진 평면을 따라 미끄러집니다.

Table 3: "Convergence Time Steps" 열은 섹션 6에 표시된 모든 예제에서 각 최적화 방법이 수렴할 때까지 사용된 시뮬레이션 시간 스텝 수를 보고합니다. 공정한 비교를 위해 L-BFGS-B에 표시된 시간 스텝에는 순방향 시뮬레이션과 역방향 전파 시간이 모두 포함됩니다. "Iter. Conv. %" 열은 역방향 전파에서 반복 솔버가 수렴하는 시간 스텝의 백분율을 보고합니다.

Fig 7: 티셔츠 (4278 자유도, ℎ= 1/90s, 250 시간 스텝). 주어진 티셔츠의 합성 모션 시퀀스를 기반으로 의상 재질 및 바람 파라미터를 추정합니다. 왼쪽에서 오른쪽으로 0, 80, 160, 240 시간 스텝에서의 시뮬레이션된 티셔츠를 보여줍니다. 위: 실제값(ground-truth) 모션 시퀀스; 중간: 의상 및 바람 파라미터에 대한 초기 추측값으로 시뮬레이션; 아래: L-BFGS-B로 최적화 후 시뮬레이션.

Fig 8: 구 (1875 자유도, ℎ= 1/180s, 350 시간 스텝). 의상이 구와 접촉하는 것을 기반으로 구와 의상 사이의 마찰 계수 𝜇를 추정합니다. 위에서 아래로 0, 100, 200, 300 시간 스텝에서의 시뮬레이션을 보여줍니다. 위: 실제값(ground-truth) 모션 시퀀스; 중간: 𝜇에 대한 초기 추측값으로 시뮬레이션; 아래: L-BFGS-B로 최적화 후 시뮬레이션.

Fig 9: 모자 (1737 자유도, ℎ= 1/100s, 400 시간 스텝). 조작기가 모자를 구 위로 옮기기 위한 궤적 최적화. 왼쪽 위: 최적화 전 한 랜덤 시드의 초기 궤적과 시뮬레이션 상의 중간 모자 위치를 겹쳐 표시. 오른쪽 위: L-BFGS-B로 최적화된 궤적(ES 알고리즘으로 최적화된 궤적과 시각적으로 유사함). 아래: 모든 방법에 대한 손실 대 시간 스텝 곡선.

Fig 10: 양말 (3165 자유도, ℎ= 1/160s, 400 시간 스텝). 조작기가 발 모델에 양말을 신기기 위한 궤적 최적화. 왼쪽 위: 최적화 전의 한 초기 궤적. 왼쪽에는 중간 시간 스텝을, 오른쪽에는 양말의 최종 상태를 보여줍니다. 오른쪽 위: L-BFGS-B로 최적화된 한 제어 궤적. 엔드 이펙터는 최적화된 궤적을 사용하여 성공적으로 발에 양말을 신깁니다. 아래: 모든 방법에 대한 손실 대 시간 스텝 곡선.

Fig 11: 깃발. 실제 실험에서 캡처한 모션 데이터를 기반으로 디지털 펄럭이는 깃발(540개 정점, 1026개 삼각형, ℎ= 1/120s, 100 시간 스텝)을 재구성하는 실제-시뮬레이션(real-to-sim) 예제. 위: 실제값(ground-truth) 모션(노란색 곡선)과 최적화 전(왼쪽 주황색 곡선) 및 최적화 후(오른쪽 주황색 곡선)의 재질 및 바람 파라미터 추측값을 사용한 시뮬레이션 결과에서 의상 위 6개 노드의 궤적을 플롯합니다. 아래: 모든 방법에 대한 손실 대 시간 스텝 곡선.

Fig 12: 모자 컨트롤러. 고급 "모자" 과제(섹션 6.5)를 위해 폐쇄 루프 컨트롤러를 훈련시키며, 이는 고정 반경 반구에서 샘플링된 다른 초기 위치에서 머리 위로 모자를 움직이는 것을 목표로 합니다. 위 두 행: 각 하위 그림 하단에 고도 및 방위각으로 표시된 10개의 초기 위치에서 모자의 제어 궤적을 시각화합니다. 아래: 제안된 그래디언트 기반 최적화와 PPO에 대한 손실 대 시간 스텝 곡선.

Fig 13: 섹션 6.5의 "모자 컨트롤러" 과제에 대한 계산 그래프를 제시합니다. 신경망 정책을 미분 가능한 시뮬레이션 파이프라인에 내장합니다. 순방향 시뮬레이션(파란색 화살표) 중 시간 스텝 𝑡에서 현재 입자 상태(x𝑡, v𝑡)는 상태 벡터 s𝑡로 변환되며, 이는 신경망 정책 𝜋𝜃에 입력되어 행동 벡터 a𝑡= 𝜋𝜃(s𝑡)를 생성합니다. 그 후 DiffCloth는 현재 입자 상태와 생성된 행동 벡터를 사용하여 새로운 상태(x𝑡+1, v𝑡+1)를 시뮬레이션합니다. 전체 시뮬레이션 시퀀스 {𝑥𝑖, 𝑣𝑖}는 손실을 계산하는 데 사용됩니다. 역방향 전파(빨간색 화살표) 중에는 위의 계산 과정이 역으로 진행됩니다.

Table 4: 그래디언트 기반 최적화의 실행 시간. 섹션 6에 제시된 예제들을 최적화하는 데 걸린 평균 실제 시간을 보고합니다. 각 예제의 총 자유도("Dof"), 각 순방향 시뮬레이션 시퀀스 및 역전파의 시간 스텝 수("Time Steps"), 그리고 시간 간격("ℎ[𝑠]")을 다시 언급하여 시뮬레이션 복잡도를 상기시킵니다. "Fwd.[s]"와 "Back.[s]"는 각각 순방향 시뮬레이션과 역전파의 한 반복을 수행하는 데 걸린 평균 실제 시간을 보고하며, 모든 초기 시드에 대한 모든 최적화 반복에 걸쳐 평균을 낸 값입니다.

Table 5: "티셔츠"와 "깃발" 예제에서 모든 방법에 대한 모든 랜덤 시드의 최적화 결과를 보고합니다. 각 랜덤 시드에 대해, 각 최적화 방법이 달성한 초기 손실과 최종 손실을 보고합니다. "Final Loss Percentage (%)"는 초기 손실에 대한 최적화된 손실의 백분율(0-100%)을 보고합니다. "Convergence Time Steps"는 각 방법이 최종 손실에 도달하는 데 사용된 시간 스텝 수를 보고합니다. 모든 과제에 대해, 각 열에 대한 모든 랜덤 시드에 걸쳐 최소, 평균, 중앙값 통계를 요약합니다. 각 메트릭("Final Loss", "Final Loss Percentage (%)", "Convergence Time Steps")과 각 행에 대해, 세 가지 최적화 방법 중 최소값은 굵게 표시됩니다.

Table 6: "모자", "양말", "구", "드레스" 예제에 대한 표 5와 유사한 표.