물리 기반 애니메이션은 활발한 연구 분야이며 높은 성숙도에 도달했습니다. 하지만 디자이너들은 원하는 시각 효과를 내는 애니메이션을 생성하기 위해 물리적 시나리오 설정을 미세 조정하는 과정에서 여전히 시행착오를 겪고 있습니다. 따라서 애니메이션 디자인 파이프라인을 더욱 자동화하기 위해 여러 애니메이션 제어 알고리즘이 제안되었으며, 성공적인 예로는 캐릭터 제어(Bergamin/2019/Character Control, Chen/2024b/Character Control, Cho/2021/Character Control), 춤 생성(Alexanderson/2023/Dance Generation, Chen/2021/Dance Generation, Tseng/2023/Dance Generation), 그리고 유체 및 고체-유체 결합 시스템 제어(Chu/2021/Fluid Control, McNamara/2004/Fluid Control)가 있습니다. 이 연구들 중에서 유체, 특히 고체-유체 결합 시스템의 제어는 높은 자유도(DOF)와 예측이 매우 복잡하고 사용자가 원하는 방식으로 수정하기는 더욱 어려운 유체의 복잡한 움직임 때문에 특히 어렵습니다. 불완전 작동(underactuated) 결합 고체-유체 동역학 시스템의 제어는 수중 및 항공 로봇과 같은 응용 분야에서 매우 중요하고 복잡합니다. 본 연구에서는 이러한 시스템의 어려움을 해결하는 데 중점을 둡니다. 컴퓨터 그래픽스, 물리학, 기계 공학 연구자들 사이에서 관심이 증가하고 있음에도 불구하고(Wang/2023/Mechanical Engineering), 문헌에는 실용적인 제어 프레임워크가 여전히 부족합니다.

최근에는 고체-유체 제어 문제를 해결하기 위한 여러 새로운 방법들이 제안되고 있습니다. 한 연구 갈래(Holl/2020a/Differentiable Sim, Li/2024/Differentiable Sim, Li/2023/Differentiable Sim, Takahashi/2021/Differentiable Sim)는 미분 가능한 유체 시뮬레이터를 개발하여 그래디언트를 사용해 바람직한 애니메이션을 최적화하는데, 이는 미분 가능 가정을 따르는 과제에 유리합니다. 하지만 이러한 방법들은 특화된 시뮬레이터를 필요로 하며, 두 결합 객체 사이의 계면 변화와 같은 비평활(non-smooth) 동작을 포함하는 과제에는 적용할 수 없을 수 있습니다. 반면에 강화학습(RL)은 어떤 시뮬레이터와도 작동하고 다양한 제어 과제를 처리할 수 있어 더 큰 유연성을 제공합니다. Ma/2018/On-policy RL 등은 유체-고체 결합 과제에 온-폴리시(on-policy) RL(Schulman/2015/TRPO)을 처음으로 채택하고 유체 속도장 특징 추출을 위해 오토인코더를 사용했습니다. 그 후 Ren/2022/Off-policy RL 등은 오프-폴리시(off-policy) 방법을 적용하여 데이터 효율성을 크게 향상시켰고, 메타 학습(Rakelly/2019/Meta-learning)을 이용해 다양한 시뮬레이터 파라미터에 대한 일반화를 달성했습니다. 이러한 연구들은 유체-고체 결합 과제에서 RL의 실현 가능성을 입증했습니다. 하지만 그들의 정책은 짧은 시간 동안만 안정적이며 복잡한 과제에 대해서는 최적이 아닙니다. 장기적으로 더 안정적이고 신뢰할 수 있는 제어 성능을 달성하기 위해서는 RL 알고리즘에서 수많은 과제들이 해결되어야 하며, 이는 시급한 주의가 필요합니다.

우리는 이전 연구(Ren/2022/Off-policy RL)가 안정적인 제어기를 효율적으로 찾는 것을 막는 두 가지 주요 문제가 있다고 주장합니다. 첫째, 일반적인 액터-크리틱 RL은 가치 함수의 추정 편향으로 어려움을 겪는다고 널리 알려져 있습니다(Fujimoto/2018/TD3, Pan/2020/SD3). 이러한 편향이 긴 궤적에 걸쳐 전파되면서, 정책 성능은 시간이 길어질수록 저하됩니다. 일부 연구(Haarnoja/2018/SAC, Hasselt/2010/Double Q-learning)는 과대추정(over-estimation)을 완화하지만, 이는 결국 과소추정(under-estimation)으로 이어집니다. 그러나 과소추정 편향을 무시하면 최적이 아닌 정책으로 이어질 수 있습니다. 두 번째 문제로, 결합 제어 과제에서 에이전트는 일반적으로 희소 보상(sparse rewards) 하에서 학습하는데, 이는 보상 신호의 영향을 느끼기 위해 광범위한 탐색을 필요로 하여 느린 학습과 잠재적으로 최적이 아닌 결과를 초래하거나, 심지어 수렴에 완전히 실패할 수도 있습니다.

본 논문은 제어기 학습의 수렴을 개선하는 일련의 수정을 제안합니다. 이미 과대추정은 다루지만 과소추정의 어려움을 겪는 트윈-딜레이드 액터-크리틱 알고리즘을 기반으로, 우리는 볼츠만 소프트맥스 연산자를 도입하여 가치 함수의 추정 편향을 크게 줄입니다. 더 나아가, 과소추정을 효과적으로 완화하기 위해 새로운 2단계 벨만 연산자를 도입합니다. 마지막으로, 희소 보상 하에서 과도한 탐색 요구 사항을 완화하기 위해 유체 유효 영역 유도(FEDG) 알고리즘을 제안하여 정책 탐색을 안내합니다. FEDG는 더 쉬운 하위 수준 과제를 위한 정책과 더 어려운 상위 수준 과제를 위한 정책을 공유 아키텍처로 함께 훈련합니다. 우리의 기여는 다음과 같이 요약됩니다:

• 고체-유체 결합 시스템에 적용되는 빠르고 안정적인 제어기 최적화를 위한 오프-폴리시 RL 알고리즘. • 희소 보상 하에서 정책 부트스트래핑을 위한 FEDG. • 오픈 소스 결합 고체-유체 제어 시스템.

종합적으로, 우리는 일련의 2D 및 3D 결합 제어 과제를 통해 우리의 방법이 그림 1에서 보여주듯이 개선된 수렴성과 장기적으로 더 안정적인 제어기 성능을 가짐을 보여줍니다. 소스 코드는 https://github.com/lvsichan/FluidControl2025 에서 공개적으로 이용 가능합니다.

이 섹션에서는 유체 제어에 관한 관련 연구와 강화학습(RL)의 발전, 특히 추정 편향과 탐험에 초점을 맞춰 검토합니다.

유체 제어 방법은 외형 제어(appearance control)와 결합 강체 제어(coupled-rigid-body control)로 나눌 수 있습니다. 외형 제어의 주요 목표는 유체가 사용자가 지정한 형태로 자연스럽고 정확하게 흘러 들어가도록 하는 것입니다. 초기 연구자들은 외부 힘 제어를 사용하여 유체 밀도 필드를 일련의 키프레임 형태(McNamara/2004/Keyframe Control, Treuille/2003/Keyframed Control)나 단일 목표 형태(Fattal/2004/Target-driven Smoke, Shi/2005/Controlling Fluids)로 물리적으로 변형시켰습니다. Thürey/2009/Controlling Fluids는 제어 힘을 거친 속도 성분에만 적용하여 작은 스케일의 디테일을 보존했습니다. Nielsen/2011/Guiding high-res은 얇은 외부 쉘에만 해결을 제한함으로써 고해상도 시뮬레이션을 저해상도 버전과 정렬시켜, 속도를 향상시키고 표준 유체 시뮬레이터와의 호환성을 높였습니다. Pan/2017/Controlling Smoke는 제어력 필드를 최적화하여 키프레임과 일치시킴으로써 연기 애니메이션을 제어했으며, 이전 방법들보다 속도를 크게 향상시켰습니다. Chu/2021/Data-driven Control은 데이터 기반 조건부 적대 모델을 제안하여 장애물, 물리적 매개변수, 운동 에너지, 와도를 통한 제어를 가능하게 했습니다. Tang/2023/Balancing Deformations는 CNN과 미분 가능한 시뮬레이터를 사용하여 변형과 물리적 속성의 균형을 맞추어 정확하고 시각적으로 매력적인 결과를 달성했습니다. Chen/2024a/Laplacian Eigenfluids는 라플라시안 고유유체(Laplacian Eigenfluids)와 인접 방법(adjoint method)을 활용하여 효율적인 실시간 시뮬레이션, 편집 및 제어를 가능하게 했습니다.

결합 강체 제어는 시스템 내의 (강체) 객체를 유체를 이용하여 직접 또는 간접적으로 구동하여 원하는 운동 상태를 달성하는 것을 의미합니다. Ma/2018/RL for Fluid는 강화학습을 사용하여 경계 힘을 적용함으로써 2D 결합 시스템을 제어하고, 물리적으로 그럴듯한 애니메이션을 구현했습니다. 긴 시간 동안 복잡한 물리 시스템을 제어하기 위해, Holl/2020b/Planning and Control는 계획과 제어를 분리하고, 미분 가능한 PDE 솔버와 함께 훈련된 예측기 및 제어 네트워크를 사용했습니다. 메타 강화학습과 새로운 과제 표현을 결합하여, Ren/2022/Learning-based Controller는 재훈련 없이 변화하는 동역학과 과제에 적응하는 유체-고체 결합 시스템을 위한 학습 기반 컨트롤러를 설계했습니다. Ramos/2022/Differentiable Sim는 미분 가능한 시뮬레이터와 물리적으로 해석 가능한 손실 항을 사용하여 새로운 조건에 잘 일반화되는 컨트롤러를 훈련할 것을 제안했습니다. Xian/2023/Robotic Fluid Manipulation은 도메인 특화 최적화 기법을 통해 로봇 유체 조작의 어려움을 해결하는 미분 가능한 물리 엔진을 갖춘 시뮬레이션 플랫폼을 제안합니다. Li/2023/Differentiable SPH는 그래디언트 불안정성과 높은 계산 비용 문제를 해결하는 미분 가능한 SPH 기반 유체-강체 결합 시뮬레이터를 설계했습니다.

강화학습 알고리즘은 훈련 데이터가 현재 학습 정책에 의해 수집되었는지 여부에 따라 온폴리시(on-policy) 또는 오프폴리시(off-policy)로 분류되는 경우가 많습니다(Sutton/1998/RL Intro). 온폴리시 방법은 현재 정책에 의해 생성된 데이터로부터만 독점적으로 학습합니다. 반면, 오프폴리시 방법은 이전의 어떤 정책에 의해 수집된 과거 경험을 재사용할 수 있어 데이터 효율성을 크게 향상시킵니다. PPO(Schulman/2017/PPO)와 같은 온폴리시 방법은 안정적이지만 느려서, 데이터 수집 비용이 저렴할 때는 적합하지만 유체 시뮬레이션과 같이 계산 비용이 많이 드는 시나리오에는 덜 이상적입니다. 대조적으로, 오프폴리시 방법은 더 샘플 효율적이어서 더 적은 데이터로 더 빠른 수렴을 가능하게 하지만, 추정 편향으로 인한 불안정성을 겪는 경우가 많습니다.

추정 편향은 강화학습에서 어디에나 존재하는 문제로, 초기 추정 오차가 연속적인 타임스텝에 걸쳐 누적되어 에이전트 성능을 저하시키거나 알고리즘 수렴을 방해할 수 있는 상당한 편향으로 이어질 수 있습니다. Thrun/1993/Issues in RL은 max 연산자가 Q-러닝(Watkins/1992/Q-learning)에서 과대평가로 이어질 수 있음을 강조합니다. 그 후 Hasselt/2010/Double Q-learning은 과대평가를 제거하지만 다시 과소평가를 도입하는 이중 Q-러닝(double Q-learning)을 소개했습니다. 연속 제어 영역에서 저명한 알고리즘인 DDPG(Lillicrap/2016/DDPG) 또한 추정 편향의 영향을 받습니다. 이에 대응하여 Fujimoto/2018/TD3는 TD3를 도입했는데, 이는 크리틱(critic)을 위해 이중 추정기를 활용하고 두 Q-네트워크의 최솟값을 사용하여 과대평가를 피합니다.

앞서 언급한 방법들이 과대평가 편향을 성공적으로 완화했지만, 과소평가 편향은 여전히 남아 있으며, 이는 전반적인 성능에 부정적인 영향을 미칠 수 있고(Ciosek/2019/Better Exploration) 본 연구에서 다루는 주요 기술적 과제입니다.

상태 공간에서 높은 보상 영역을 발견하기 위한 탐험은 강화학습에서 매우 중요합니다. 이는 연속 제어 환경, 특히 행동 공간의 복잡성이 현저하게 증가하는 유체 제어 과제에서 상당히 더 어렵습니다. 가장 간단한 전략은 행동 자체를 무작위로 교란하는 것입니다. SAC(Haarnoja/2018/SAC)와 같은 확률적 정책은 행동 샘플링을 통해 자연스럽게 무작위성을 통합합니다. TD3(Fujimoto/2018/TD3) 및 SD3(Pan/2020/SD3)와 같은 결정론적 정책은 핑크 노이즈(Eberhard/2023/Pink Noise)와 같은 무작위 노이즈를 행동에 추가하여 탐험을 강화합니다. 그러나 이러한 기법들은 중요하지 않은 낮은 보상 영역을 탐험함으로써 계산을 낭비할 수 있습니다(Lee/2021/Sunrise). 대조적으로, Luo/2023/SGES는 복잡한 순차적 과제를 위해 자기 유도 탐험 전략(Self-Guided Exploration Strategy, SGES)을 제안하며, 더 간단하게 학습된 저수준 하위 과제 정책을 사용하여 더 복잡한 고수준 정책의 탐험을 안내합니다.

이 섹션에서는 고체-유체 결합 제어 문제를 정식화하고, 우리 주요 알고리즘 프레임워크의 기반으로 채택된 오프폴리시 강화학습의 핵심 아이디어를 소개합니다.

우리의 고체-유체 결합 시스템은 유체 드라이버, 유체, 그리고 목표 고체라는 세 가지 주요 구성 요소로 이루어집니다.

우리의 고체-유체 결합 시스템은 유체 드라이버, 유체, 그리고 목표 고체라는 세 가지 주요 구성 요소로 이루어져 있습니다. 시뮬레이션 알고리즘으로는 주로 이동 최소 제곱 물질점법(MLS-MPM)(Hu/2018/MLS-MPM)이 사용되며, 목표 고체의 변형을 방지하기 위해 형상 매칭(Müller/2005/Shape Matching)이 사용됩니다.

고체-유체 결합 시스템 제어 문제는 강화학습(RL) 패러다임 하에서, 튜플 (S, A, P, R, $𝛾$)로 정의되는 마르코프 결정 과정(MDP)(van Otterlo/2012/MDP)으로 효과적으로 공식화될 수 있습니다. 여기서 S는 모든 상태의 집합, A는 모든 행동의 집합, R : S × A → R은 보상 함수, P는 상태 전이 확률, 그리고 $𝛾$는 할인 계수입니다. 우리는 행동 공간 A가 유계(bounded)라고 가정합니다. 매 시간 $t$마다 에이전트는 상태 $s \in S$를 관찰하고 자신의 정책 $𝜋$: S → A에 따라 행동 $a \in A$를 선택합니다. 그러면 환경은 다음 상태 $s_{t+1}$로 전이하고 보상 $r_{t+1}$을 산출합니다. $𝜙$로 매개변수화된 정책 $𝜋(·;𝜙)$의 목표는 장기 누적 할인 보상을 최대화하는 것입니다:

다른 유체 시뮬레이션 알고리즘들과의 원활한 통합을 보장하기 위해, 예를 들어 유체-암시적-입자(FLIP) 방법(Zhu/2005/FLIP)이나 평활 입자 동역학(SPH) 방법(Becker/2007/SPH, Müller/2003/SPH)과 같은 것들인데, 우리는 범용적인 상태 표현을 사용합니다. 구체적으로, RL 에이전트를 위한 결합 시스템 상태 $s \in S$는 세 가지 구성 요소로 이루어집니다: $s \triangleq [d, q, u]$. $d$는 유체 드라이버의 상태이고, $q$는 목표 고체의 상태(예: 위치, 방향, 속도 등)입니다. 마지막으로, $u$는 사전 훈련된 오토인코더(Vincent/2008/Autoencoder)에 의해 추출된 유체의 속도장 특징이며, 이는 Ma/2018/RL for Fluid와 Ren/2022/Meta-RL for Fluid에서와 같은 방식입니다. 보상 함수 R은 일반적으로 시간 $t$에서의 상태 $q_t$와 목표 고체의 원하는 상태 $q_d$를 사용하여 보상 $r_t$를 계산합니다. R은 제어 과제에 따라 달라지며 구체적으로 정의될 것입니다. 본 연구에서 RL 정책 $𝜋(·;𝜙)$은 유체 드라이버에 대한 제어 행동 $a_t$를 계산하여 유체 거동을 조작함으로써, 목표 고체가 원하는 상태 $q_d$에 도달하게 하고 동시에 기대 할인 수익 $E[\sum_{t=0}^{\infty} 𝛾^t r_t]$를 최대화하는 것을 목표로 합니다.

우리는 정책 최적화를 위해 결정론적 정책 경사(Silver/2014/DPG)를 사용하는 오프-폴리시 액터-크리틱 프레임워크를 채택합니다.

이 섹션에서는 고체-유체 결합 제어 과제에서 액터-크리틱 RL의 성능을 크게 향상시키는 일련의 개선 사항을 소개합니다. 먼저, 과대평가와 분산을 줄이는 볼츠만 소프트맥스 연산자를 클리핑된 Q-가치 추정기에 기반하여 채택합니다. 다음으로, 과소평가를 완화하기 위해 새로운 2단계 벨만 연산자를 소개합니다. 마지막으로, 희소 보상 하에서 정책을 안내하기 위한 FEDG 알고리즘을 제안합니다. 우리 방법의 파이프라인은 그림 2에 요약되어 있습니다.

볼츠만 소프트맥스 연산자. 수식 3의 max 연산자는 과대평가로 이어질 수 있다는 것이 알려져 있으며(Hasselt/2016/Deep Reinforcement Learning), 이는 TD3(Fujimoto/2018/TD3)에서 각각 $𝜃_1$과 $𝜃_2$로 매개변수화된 두 개의 가치 추정기를 사용하여 완화됩니다. 구체적으로, TD3는 다음과 같은 클리핑된 이중-Q 벨만 연산자를 도입합니다:

$B_{TD3}$가 과대평가를 완화하기는 하지만, 이는 본질적으로 실제 벨만 연산자(수식 3)의 샘플 근사이기 때문에 여전히 높은 분산으로 어려움을 겪을 수 있습니다. 여기서 다음 상태의 Q-가치는 모든 행동에 대해 최대화됩니다. 이러한 최대화는 닫힌 형태의 해를 갖지 않지만, 우리는 볼츠만 소프트맥스 연산자를 사용하여 샘플링을 통해 이러한 최대화를 근사할 수 있으며(Pan/2020/SD3), 이는 다음과 같이 정의됩니다:

볼츠만 소프트맥스 분포는 행동 선택(Cesa-Bianchi/2017/Boltzmann Exploration; Sutton/1998/Reinforcement Learning) 및 정책 최적화(Haarnoja/2018/SAC; Song/2019/Policy Optimization)에 광범위하게 사용되는 널리 퍼진 방법으로 부상했습니다. $B_{max}$를 사용하는 주된 이점은 실제 벨만 연산자(수식 3)를 더 잘 근사하고 더 많은 중요도 샘플을 사용하여 분산을 줄일 수 있다는 것입니다. 구체적으로, 우리는 확률 밀도 함수 $p_{N_\phi}$를 갖는 가우시안 샘플링 분포 $N_\phi \triangleq N (\pi(s;\phi), \sigma)$를 채택하고 소프트맥스 연산자를 다음과 같이 근사합니다:

우리는 또한 과대평가를 완화하기 위해 소프트맥스 연산자에 클리핑된 이중-Q 추정기를 통합했습니다(즉, Pan/2020/SD3에서 제안된 SD3). 분산 감소를 위해 더 많은 샘플을 추출하면 정책 및 가치 추론에 추가 비용이 발생할 수 있지만, 이러한 추가 비용은 유체 시뮬레이션에 의한 데이터 수집 비용에 비하면 무시할 수 있습니다.

하한이 있는 벨만 연산자. 추정기 $B_{max}$는 과대평가를 완화할 수 있지만, 대신 $Q_{min}$의 min-연산자로 인해 과소평가를 유발합니다. 우리는 N-단계 전개 방법(Hessel/2018/Rainbow)에서 영감을 받아 과소평가를 추가로 완화하기 위한 새로운 연산자를 제안합니다. 부분 궤적을 한 번 더 전개하여 전환 튜플 $⟨s,a,s',a',s''⟩$을 생성한다고 가정해 봅시다. 그러면 우리는 min-연산자를 다음 타임스텝으로 지연시켜 다음과 같이 정의할 수 있습니다:

이제 우리의 목표가 과소평가를 완화하는 것이므로, 두 추정치 중 최대값을 취하여 최종적인 2단계 벨만 연산자를 다음과 같이 도출합니다:

여기서 우리는 두 추정기 중 최대값을 취하여 과소평가를 완화합니다. 우리의 2단계 연산자 $B_{2-step}$을 수식 2에 대입하면 소프트맥스 연산자에 대한 중요도 샘플링 비용을 두 배로 요구할 것입니다. 더 일반적으로, 우리는 궤적을 N 단계에 걸쳐 전개하고 최대 연산자로 해를 혼합할 수 있습니다. 그러나 그림 7의 광범위한 실험을 통해, 우리는 2단계 전개가 성능과 비용 사이의 최상의 균형을 맞춘다는 것을 발견했으며, 이는 이미 만족스러운 결과를 이끌어내고 추가적인 전개는 결과를 크게 향상시키지 않습니다. 우리 방법은 SD3에 비해 과소평가 편향을 더욱 완화하여, 그림 5와 6에 나타난 2D 스쿱 벤치마크에서 보여주듯이 개선된 수렴 속도와 최종 성능을 가져옵니다.

탐색 노이즈. 행동 샘플링을 통해 탐색하는 확률적 정책과 달리, 우리의 결정론적 오프-정책 방법은 탐색을 위해 외부 행동 노이즈에 의존해야 합니다. 표준 접근 방식은 이러한 내재된 탐색 한계를 보완하기 위해 가우시안 백색 소음이나 오른슈타인-울렌벡(OU) 적색 소음(Uhlenbeck/1930/On the Theory of the Brownian Motion)을 사용합니다. 백색 소음의 시간 독립적 특성은 비효율적인 탐색으로 이어지는 반면, 적색 소음의 시간적 상관관계는 탐색 효율성을 향상시킵니다(Lillicrap/2016/DDPG). 그러나, 무한한 분산 증가는 행동 제약을 위반할 수 있습니다. 우리는 대신 핑크 노이즈(Eberhard/2023/Pink Noise)를 기본 탐색 전략으로 채택하여, 백색 소음과 적색 소음의 특성 사이에서 균형을 맞춥니다.

유체 유효 영역 안내 (FEDG). 유체-고체 결합 제어 과제, 특히 다중 과제 및 다중 목표 설정에서 효과적이고 안정적인 제어를 달성하는 것은 보상 신호의 희소한 특성으로 인해 상당한 도전입니다. 특히 초기 탐색 단계에서 이 문제는 복잡한 유체-고체 결합 환경 내에서 강화학습 에이전트가 상당한 비율의 긍정적 보상을 확보하는 능력을 저해하며, 이로 인해 느린 수렴 또는 경우에 따라 비수렴으로 이어집니다. 이 문제를 완화하기 위해, 사후 경험 재현(HER)(Andrychowicz/2017/HER)은 목표 재표기 전략을 사용하여 충분한 수의 긍정적 샘플을 생성할 수 있습니다. 그러나, 음의 보상을 초래하는 모든 궤적이 재표기 기준을 충족하는 것은 아니며, 특히 차선책의 목표조차 달성할 수 없는 시나리오에서는 더욱 그렇습니다. 대신, Luo/2023/SGES는 로봇 팔이 다른 목표 물체에 빠르게 도달하도록 돕기 위해 SGES 전략을 사용하는데, 이는 팔의 말단 장치를 물체가 있는 지점으로 안내하기 위해 저수준 정책을 사용합니다. 그들의 연구에서 영감을 받고 이를 유체-고체 결합 제어 시나리오와 통합하여, 우리는 점의 개념을 복잡한 3차원 공간 및 시간 영역으로 확장하는 FEDG 알고리즘을 제안합니다.

알고리즘 1: FEDG를 사용한 데이터 수집
만약 $r_\Omega(s) = 0$ 이라면
안내 확률에 따라 $a = \pi(s;\phi)$ 이고, 그렇지 않으면 $a = \pi_\Omega(s;\phi)$
그렇지 않다면
$a = \pi(s;\phi)$
끝
행동 $a$에 핑크 노이즈 추가
행동 $a$를 실행하여 $s'$를 생성하고 $r(s,a)$와 $r_\Omega(s)$를 관찰
$D \leftarrow D \cup \{⟨s,a,r,s'⟩\}$
만약 $r_\Omega(s) = 0$ 이라면
$D_\Omega \leftarrow D_\Omega \cup \{⟨s,a,r_\Omega,s'⟩\}$
끝

구체적으로, 우리는 사용자가 최종 목표 달성에 도움이 될 수 있는 하위 목표 영역 $\Omega$ 형태의 하위 과제를 정의할 수 있다고 가정합니다. 따라서, 우리는 또 다른 보상 신호 $r_\Omega(s) = I_\Omega(s)$를 정의할 수 있으며, 여기서 $I_\Omega(s)$는 하위 목표에 도달했을 때만 1이 되는 지시 함수이고, $I_\Omega(s)$는 $\Omega$의 설계에 따라 덜 희소합니다. FEDG는 먼저 하위 목표 영역 $\Omega$에 도달하도록 정책을 훈련시킨 다음 최종 목표를 달성하도록 작동합니다. 구체적으로, 우리는 두 개의 정책 $\pi$와 $\pi_\Omega$를 훈련시키는데, 이들은 각각 보상 신호 $r$과 $r_\Omega$에 대한 최적 정책입니다. 우리는 더 나아가 두 정책이 공유 아키텍처를 사용하도록 설계하여, 덜 희소한 보상 $r_\Omega$에 대한 최적 정책 $\pi_\Omega$를 훈련하는 것이 $\pi$를 훈련하는 데 유용한 지침을 제공할 수 있도록 합니다. 구체적으로, 우리는 정책이 $\pi$인지 $\pi_\Omega$인지를 나타내는 추가 비트를 가진 증강된 상태 공간을 갖는 정책 $\pi_{FEDG}$를 도입합니다. 즉, 우리는 $\pi(s;\phi) = \pi_{FEDG}(s, 0;\phi)$와 $\pi_\Omega(s;\phi) = \pi_{FEDG}(s, 1;\phi)$로 정의합니다. 훈련 중에, 우리는 $r_\Omega(s)$를 평가하여 하위 목표에 도달했는지 확인합니다. 만약 $r_\Omega(s) = 1$이라면, 우리는 원래 과제에 대한 최적 정책을 사용하여 행동을 $a = \pi(s;\phi)$로 설정합니다. 그렇지 않으면, 우리는 미리 정의된 확률(안내 확률)에 따라 $\pi(s;\phi)$와 $\pi_\Omega(s;\phi)$가 제안하는 행동 사이에서 선택합니다. 이에 상응하여, 우리는 각각 $\pi$와 $\pi_\Omega$를 훈련시키기 위해 두 개의 리플레이 버퍼 D와 D$_\Omega$를 저장합니다. $r_\Omega(s) = 1$이라고 가정하면, 우리는 $r$을 보상 신호로 사용하여 D에만 새로운 전환 튜플을 채웁니다. 그렇지 않으면, 우리는 $r$과 $r_\Omega$를 각각 보상 신호로 사용하여 D와 D$_\Omega$ 모두에 전환 튜플을 채웁니다. 핑크 노이즈를 사용한 FEDG의 데이터 수집 단계는 알고리즘 1에 요약되어 있습니다.

이 섹션에서는 제안하는 방법을 평가하기 위해 일련의 2D 및 3D 벤치마크 과제를 설계합니다. 최적화된 컨트롤러의 성능을 비교할 때, 컨트롤러 훈련을 위해 생성될 수 있는 상태 전이 튜플의 수를 항상 동일하게 설정합니다.

표 1. 압착 과제의 각 변형에 대해 2000 에피소드에 걸쳐 평가된 정책 성능 비교. 우리의 방법은 모든 제어 과제에서 모든 지표에 대해 다른 모든 방법을 능가합니다.

그림 3에서 볼 수 있듯이, 우리의 첫 번째 벤치마크는 경계에 움직일 수 있는 벽이 있는 2D 탱크를 포함하며, 유체 내의 고체 공들이 중앙 하단에 위치한 그물로 들어가도록 합니다. 공들은 그물 바로 위에서만 들어갈 수 있으며, 들어가기만 하고 나올 수는 없습니다. 그물은 유체와 상호작용하지 않지만 공에 대한 충돌 감지는 있습니다. 우리는 이 벤치마크의 세 가지 다른 변형을 고려합니다.

그림 3에서 볼 수 있듯이, 우리의 첫 번째 벤치마크는 2D 탱크를 포함하며, 경계에 움직일 수 있는 벽이 있어 유체 내의 고체 공들이 중앙 하단에 위치한 그물로 들어갈 수 있게 합니다. 공들은 오직 그물 바로 위에서만 들어갈 수 있으며, 들어가기만 하고 나갈 수는 없습니다. 그물은 유체와 상호작용하지 않지만 공에 대한 충돌 감지는 수행합니다. 우리는 이 벤치마크의 세 가지 다른 변형을 고려합니다.

Squeeze with Double Walls (양쪽 벽으로 밀기). 이 과제에서는 왼쪽과 오른쪽에 모두 벽이 있으며, 지정된 범위 내에서 수평으로 움직일 수 있습니다. 목표는 그물에 들어가는 공의 수를 최대화하는 것입니다. 행동 $a$는 두 개의 변수로 구성되며, 각 변수는 왼쪽 벽과 오른쪽 벽에 가해지는 가속도를 나타내는 [-1, 1] 범위의 값을 가집니다. 상태 구성요소 $d$와 $q$는 각각 벽과 공의 위치 및 속도, 그리고 유체 속도장의 특징으로 구성됩니다. 보상 신호는 그물 안의 공의 수이며, 최대 에피소드 길이는 300입니다.

Squeeze with Single Wall (한쪽 벽으로 밀기). 우리 방법이 복잡한 과제에서 더 뛰어난 성능을 보이는 것을 입증하기 위해, 우리는 난이도를 높여 두 가지 추가 과제를 설계했습니다. 이 한쪽 벽 사례에서는 오른쪽 벽을 제거하고, 그물 크기를 줄였으며, 최대 에피소드 길이를 500으로 설정했습니다. 다른 모든 설정은 동일하게 유지됩니다.

Squeeze Target Balls (타겟 공 밀기). 이 경우, 양쪽 벽 과제를 기반으로 하여 2개의 공을 나쁜 공으로, 나머지 3개를 좋은 공으로 추가 지정합니다. 목표는 나쁜 공이 들어가는 것을 막으면서 그물에 들어가는 좋은 공의 수를 최대화하는 것입니다. 상태 $s$는 5차원 이진 벡터 $c$로 증강되며, 여기서 $c_i=1$은 $i$번째 공이 나쁜 공인 경우를 의미합니다. 보상 $r$은 그물 안에 있는 좋은 공의 수에서 나쁜 공의 수를 뺀 값으로 정의됩니다. 다른 모든 설정은 양쪽 벽 과제와 동일하게 유지됩니다.

평가를 위해, 우리는 우리의 방법을 TD3 (Fujimoto/2018/TD3), SAC (Haarnoja/2018/SAC), 그리고 SD3 (Pan/2020/SD3)를 포함한 주요 강화학습(RL) 방법들과 비교합니다. 여기서 SAC는 이전 최첨단 기술(Ren/2022/Meta-RL)에서 사용된 RL 방법입니다. 공정성을 위해, 우리는 모든 RL 방법에 FEDG를 사용하지 않았습니다. 각 정책은 5백만 개의 전환 튜플을 수집하여 훈련되었고, 2000개의 에피소드에 걸쳐 평가되었습니다. 수렴 이력은 그림 3에 요약되어 있습니다. 양쪽 벽으로 밀기 과제에서, 우리 방법은 평균 보상 821.22와 평균 4.51개의 공을 그물에 넣는 성과를 달성하여, 개선이 크지는 않지만 다른 모든 방법을 능가했습니다. 더 어려운 과제인 한쪽 벽으로 밀기에서는, 우리의 평균 공 개수는 1.76개로, 2등인 SAC보다 28% 더 나았습니다. 보상은 622.48로, 2등인 TD3보다 23% 더 높았습니다. 가장 어려운 과제인 타겟 공 밀기에서는, 우리 방법의 G/B 지수가 SAC보다 69% 더 좋았고 SD3보다 26% 더 좋았습니다(표 1 참조). 더욱이, 달성된 보상은 426.13으로, 다른 방법들에 비해 최소 16% 증가한 수치입니다.

이 과제들에서는 단일 분사구를 사용하여 고정된 시간 간격으로 공을 다른 목표 위치로 운송하며, 이는 X축으로만 운송하는 것과 세 축 모두에서 운송하는 두 가지 변형을 포함합니다.

우리는 X축이 오른쪽을, Y축이 위쪽을, Z축이 바깥쪽을 가리키는 오른손 좌표계를 사용합니다.

X축에서의 운송. 이 과제에서는 y축과 z축을 따라 상대적인 안정성을 보장하면서 목표 x축 위치로의 운송을 달성합니다.

$p_b$가 $t$ 타임스텝 내에 $p_b^★$에 도달하면, 목표 위치를 무작위로 업데이트합니다. 그렇지 않으면, 에피소드를 단순히 종료합니다.

보상 함수는 다음과 같이 설계됩니다:

여기서 첫 두 항은 식 6에서와 동일한 역할을 하며, 세 번째 항은 X축을 따른 목표 위치에 도달하지 못했을 경우 상태에 페널티를 부과합니다.

이 과제를 위해, 우리는 $\Omega \triangleq \{p_b | |[p_b]_x - (\lfloor[p_b^★]_x / \bar{d}_x\rfloor + 1/2) \bar{d}_x| < \bar{d}_x/2\}$로 설정하여 FEDG를 사용할 수도 있습니다. 이는 본질적으로 영역을 크기 $\bar{d}_x$의 블록으로 나누고, 공이 목표 위치를 포함하는 블록 내에 있도록 요구합니다.

3D 공간에서의 운송. 이 과제에서는 X, Y, Z축을 따라 동시에 공을 운송하는 것을 목표로 합니다.

우리는 전체 공간을 세 축을 따라 3 × 2 × 2개의 큐브로 분할하고, 큐브 중 하나를 무작위로 선택하여 공을 해당 큐브의 중심으로 운송합니다.

보상 함수는 다음과 같이 훨씬 더 간단한 형태를 가집니다:

그리고 유사하게 $\Omega \triangleq \{p_b | |[p_b]_x - (\lfloor[p_b^★]_x / \bar{d}_x\rfloor + 1/2) \bar{d}_x| < \bar{d}_x/2, |[p_b]_z - (\lfloor[p_b^★]_z / \bar{d}_z\rfloor + 1/2) \bar{d}_z| < \bar{d}_z/2\}$로 설정하여 FEDG를 사용합니다. 이는 본질적으로 공이 수평 XZ 평면에서 크기 $\langle\bar{d}_x, \bar{d}_z\rangle$의 목표 큐브 내에 있도록 요구합니다.

훈련된 컨트롤러의 스냅샷은 그림 16에, FEDG 사용 여부에 따른 수렴 이력은 그림 14에 제시되어 있습니다.

이러한 복잡한 과제에서 FEDG가 없는 RL 에이전트는 더 쉬운 X축 운송의 경우 매우 느리게 수렴하거나, 더 어려운 3D 공간 운송의 경우 수렴에 실패하는 반면, FEDG는 성능을 크게 향상시킵니다.

마지막 벤치마크는 Ren et al./2022/Meta-RL의 3D 다중 고체 음악 연주기 벤치마크를 확장한 것으로, 유체 분출구를 사용하여 공을 제어해 상단의 건반을 쳐서 음악을 연주합니다. 이 벤치마크에서는 각 공을 별도의 분출구로 제어하여 더 복잡한 다중 목표 과제를 달성합니다.

단일 고체 사례에서는 직사각형 시뮬레이션 영역 내에서 단일 분출구와 단일 공을 사용하여 음악을 연주합니다. 영역의 상단 부분은 x축을 따라 7개의 동일한 구역으로 나뉘며, 각 구역에는 7개의 음계에 해당하는 건반이 있습니다. 음악 악보를 연주하기 위해, 공은 지정된 시간 $t^★$에 $k^★$로 인덱싱된 목표 건반을 쳐야 합니다. 이를 위해, 우리는 다음과 같이 보상을 설계합니다:

여기서 $I_{hit}$는 시간 스텝 $t$에서 $k$로 인덱싱된 건반을 쳤는지 여부를 나타내는 지표입니다. 하지만, 희소 보상을 사용하여 직접 훈련하면 알고리즘이 수렴에 실패하는데, 이는 FEDG를 통해 다시 완화됩니다. 보조 목표를 정의하기 위해, 우리는 먼저 지정된 시간 범위 $\Delta t$ 내에서 목표 건반 $k^★$ 아래로 공을 이동시키는 것을 목표로 하므로, $\Omega$를 다음과 같이 설정합니다:

더 나아가, 목표 건반 아래로 공을 이동시키기 위해, 수식 7과 동일한 형태의 더 조밀한 보상(denser reward)을 사용하여 더 나은 조건의 가이던스를 제공할 수 있음을 발견했습니다. 따라서, $r_\Omega = I_\Omega$를 사용하는 대신, 다음과 같이 설정합니다:

여기서 우리는 $p^★_b$를 목표 건반 아래의 지점으로 설정합니다. 그림 15에서 볼 수 있듯이, 우리의 정책은 FEDG를 통한 효율적인 탐색으로 비교적 고정된 템포로 음악을 연주하는 능력을 보여줍니다. 더욱이, 무작위로 트리거된 음표를 포함하는 테스트에서 우리 방법은 85%의 성공률을 달성했습니다.

이중 고체 음악 연주기. 더 어려운 변형에서는 가변 템포 음악 연주 과제를 수행합니다. 우리는 두 개의 분출구와 두 개의 공을 사용하여 더 복잡한 음악 악보를 연주합니다. 보상 및 FEDG 설정은 단일 고체 사례와 동일하지만, 각 공에 대해 두 개의 별도 보상을 사용하고 이를 합산합니다. 우리 방법의 효능은 다중 템포 음악 실행을 가능하게 하는 능력으로 입증됩니다. 무작위 테스트 단계에서 타격 정확도는 평균 75%였습니다.

복잡한 스크립트. 보상 및 FEDG 설정은 단일 고체 사례와 동일하게 유지되지만, 각 공에 대해 두 개의 개별 보상을 사용하고 이를 합산합니다. 우리 방법의 효능은 다중 템포의 음악적 실행을 용이하게 하는 능력으로 입증됩니다. 무작위 테스트 단계에서 적중 정밀도는 평균 75%였습니다.

저희는 도전적인 고체-유체 결합 제어 과제들을 해결하기 위해 액터-크리틱 RL 프레임워크에 대한 몇 가지 개선 사항을 제안합니다.

우리의 주요 기여는 과소추정을 완화하기 위해 2단계 궤적 언롤링을 사용하는 더 정확한 Q-가치 추정기를 포함합니다.

또한 희소 보상 하에서 더 효율적인 탐색을 위해 상위 및 하위 수준 정책을 확률적으로 혼합하는 정책 안내 접근법을 제안합니다.

우리의 결과는 복잡한 2D 및 3D 벤치마크에서 개선된 수렴성과 컨트롤러 성능을 보여줍니다.

우리의 주요 한계점은 학습된 정책의 부정확한 타이밍 제어와 여전히 높은 전체 학습 비용에 있습니다.

이는 부분적으로 기저 시뮬레이터의 내재적인 높은 비용 때문입니다.

향후, 저희는 분산 학습을 통합하여 더 복잡한 과제에 대해 더 빠른 데이터 수집 및 학습을 가능하게 할 계획입니다.

Li/2023/Differentiable SPH와 같은 미분 가능한 시뮬레이터에 대한 최근 연구들도 더 나은 샘플링 효율성을 위해 모델 기반 RL을 가능하게 하도록 통합될 수 있습니다.

마지막으로, 우리의 새로운 RL 알고리즘은 범용적이며, 우리는 이를 더 일반적인 벤치마크에서 평가할 계획입니다.

이 연구는 중국 국립 자연과학재단(62272245, 62441218)과 중앙 대학을 위한 기초 연구 기금(난카이 대학, 63253233)의 지원을 받았습니다. 계산 자원은 난카이 대학 슈퍼컴퓨팅 센터(NKSC)에서 제공되었습니다.

Fig 1: 복잡한 유체-고체 결합 제어를 위한 본 논문의 오프-폴리시 강화 학습 프레임워크는 효율적인 가치 추정과 정책 가이딩을 통해 안정적이고 신뢰성 있는 결과를 달성합니다. 이 벤치마크에서 우리는 긴 시간 동안 이중 고체 뮤직 플레이어 과제에서 안정적인 다중 목표 제어를 달성합니다. 훈련된 정책은 두 개의 유체 드라이버(노란색)를 성공적으로 제어하여 공이 떨어지는 것을 방지하고, 목표 키를 치며, 다양한 템포로 음악을 연주합니다. 우리는 결합된 고체-유체 시스템에 대해 더 안정적이고 강건한 제어 결과를 얻기 위해 여러 새로운 기술을 결합한 강화 학습(RL) 알고리즘을 제안합니다. 우리 방법은 트윈-딜레이드 액터-크리틱 알고리즘을 활용하여 오프-폴리시 데이터를 효율적으로 사용하고 더 빠른 수렴을 달성합니다. 최적 정책 탐색을 안내하기 위한 가치 함수를 더 정확하게 추정하기 위해, 우리는 볼츠만 소프트맥스 연산자를 사용하여 추정의 편향을 줄입니다. 더 나아가, 잘 알려진 과소 추정 문제를 줄이기 위해 새로운 2단계 Q-가치 추정기를 도입합니다. 마지막으로, 희소 보상 하에서의 과도한 탐색 요구를 완화하기 위해, 우리는 정책 탐색을 안내하는 유체 유효 영역 가이던스(FEDG) 알고리즘을 제안합니다. 이 알고리즘에서는 더 쉬운 과제를 위한 정책이 더 어려운 과제를 위한 정책과 함께 훈련됩니다. 종합적으로, 우리의 프레임워크는 복잡한 유체-고체 결합 제어 벤치마크에서 최첨단 성능을 달성하며, 2D 및 3D 과제 모두에서 긴 시간 동안 안정적이고 신뢰성 있는 성능을 제공합니다.

Fig 1: 소스 코드는 https://github.com/lvsichan/FluidControl2025에서 공개적으로 이용 가능합니다.

Fig 2: 고체-유체 결합 제어 과제를 위한 저희의 오프-폴리시 RL 프레임워크 아키텍처입니다. 오프-폴리시 강화 학습 프레임워크는 오프-폴리시 전이 데이터셋(상단 행)을 사용하여 탐험과 활용의 균형을 효율적으로 맞춥니다. 저희의 크리틱 손실은 Q-값에 대한 추정 편향 문제를 해결하기 위해 볼츠만 소프트맥스 연산자와 2단계 벨만 연산자를 통합합니다(좌측 하단). 유체 유효 영역 가이던스(FEDG)는 덜 희소한 보상 𝑟Ω를 최적화하는 보조 정책을 통해 희소 보상 𝑟을 최적화하는 상위 수준 정책의 탐색을 안내합니다(우측 하단).

Table 1: 스퀴즈 과제의 각 변형에 대해 2000 에피소드에 걸쳐 평가된 정책 성능 비교. 저희 방법은 모든 제어 과제에서 모든 지표에 대해 다른 모든 방법을 능가합니다.

Fig 3: (왼쪽) 2D 스퀴즈 벤치마크의 변형에 대한 궤적 스냅샷을 보여줍니다. 상단 행은 양쪽에 벽이 있는 스퀴즈의 성공적인 궤적 프레임을 보여주며, 목표는 좌우의 이중 벽을 제어하여 그물 안으로 들어가는 고체 공의 수를 최대화하는 것입니다. 중간 행은 왼쪽 벽만 있는 스퀴즈를 보여줍니다. 하단 행은 두 개의 나쁜 공을 제외하고 세 개의 목표 좋은 공을 위한 스퀴즈를 보여줍니다. (오른쪽) 스퀴즈 벤치마크 변형에 대한 RL 훈련의 수렴 곡선: 양쪽 벽이 있는 스퀴즈(상단), 단일 벽이 있는 스퀴즈(중간), 목표 공 스퀴즈(하단). 결과는 저희 방법이 다른 방법들보다 일관되게 나쁘지 않은 성능을 보임을 보여줍니다. 더욱이, 단일 벽 스퀴즈와 목표 공 스퀴즈를 포함한 더 어려운 과제에서는 저희 방법이 더 빠른 수렴과 더 나은 최종 성능을 달성합니다.

Fig 4: 스쿱 벤치마크의 그림입니다. (a) 공 스쿱하기, 목표는 숟가락을 제어하여 유체에서 가능한 한 많은 공을 떠내는 것입니다. (b) 목표 공 스쿱하기, 모든 빨간 공을 떠내고 녹색 공은 제외하는 것입니다.

Fig 5: 스쿱 과제의 변형에 대한 수렴 이력: 공 스쿱하기(왼쪽)와 목표 공 스쿱하기(오른쪽). 저희 방법은 다른 방법들에 비해 더 높은 최종 보상을 달성하며, 특히 더 어려운 과제인 목표 공 스쿱하기에서 두드러집니다. 두 하위 그림은 범례를 공유합니다.

Fig 6: 공 스쿱하기(왼쪽)와 목표 공 스쿱하기(오른쪽)에 대한 편향은 Q 값과 할인된 몬테카를로 반환값의 차이입니다. 0보다 작으면 과소 추정을 의미합니다.

Fig 7: 저희의 벨만 연산자를 3단계로 확장하여 SD3에 통합(B3-step-SD3로 표기)하고, 두 스쿱 벤치마크 과제에서 그 성능을 평가합니다. B2-step과 B3-step의 성능은 비슷합니다.

Fig 8: 공 스쿱하기 과제에서 PPO와 저희 방법 간의 샘플 효율성 비교. 온-폴리시 알고리즘 PPO를 5천만 상호작용 단계 동안 훈련한 후, 저희의 오프-폴리시 방법이 비슷한 성능을 달성하는 데 필요한 상호작용 횟수를 측정했습니다. 저희 접근 방식은 약 1백만 번의 상호작용만으로 비슷한 성능에 도달하여 PPO보다 50배 더 샘플 효율적입니다.

Table 2: 스쿱 과제의 변형에 대한 최적화된 컨트롤러의 성능. 각 과제에 대해 2,000 에피소드에 걸쳐 평가되었습니다.

Table 3: 공에서 훈련된 정책을 다른 모양의 균형을 맞추는 데 직접 적용했을 때의 유지 시간(상호작용 단계). 2,000 에피소드에 걸쳐 평가되었습니다.

Fig 9: 128×128 그리드 해상도에서 훈련된 정책을 사용하여 MPM 시뮬레이터의 그리드 해상도를 높여 목표 공 스쿱하기 과제에서 평가합니다. 성공률은 2000 에피소드에 걸쳐 테스트되었으며, 저희 방법은 일관되게 더 적은 성능 저하를 경험합니다.

Fig 10: FEDG 사용 여부에 따라 훈련된 컨트롤러에 의한 단일 공 균형 잡기 과제의 스냅샷. FEDG를 사용하면 저희 컨트롤러는 공 아래로 스파우트를 직접 이동시켜 더 자연스러운 전략을 보여줍니다.

Fig 11: 비구형 모양 균형 잡기 스냅샷: 큐브(왼쪽), 십자가(중간), 팔면체(오른쪽). 각 모양의 확대 사진이 왼쪽 상단에 표시됩니다.

Fig 12: 이중 공 균형 잡기 과제의 스냅샷. FEDG로 훈련된 저희 컨트롤러는 두 공이 너무 멀리 떨어지는 것을 방지하기 위해 더 낮은 고도의 공 아래로 스파우트를 이동시킵니다.

Fig 13: 이중 공 균형 잡기 과제에 대한 수렴 곡선. 저희의 FEDG를 일반적인 커리큘럼 학습(CL) 및 낮고 높은 보상을 합산하는 간단한 방법(Reward Merge)과 비교합니다(왼쪽). 또한 FEDG의 가이드 확률에 대한 절제 연구를 수행했습니다(오른쪽).

Fig 14: 두 가지 수송 과제 변형에 대한 수렴 곡선: X축 수송(왼쪽)과 3D 공간 수송(오른쪽). FEDG 알고리즘 사용 여부 시나리오를 비교하여, FEDG를 통한 효율적인 탐색이 수렴 성능을 크게 향상시킴을 보여줍니다.

Fig 14: 이러한 복잡한 과제에서, FEDG가 없는 RL 에이전트는 더 쉬운 X축 수송의 경우 매우 느리게 수렴하거나, 더 어려운 3D 공간 수송의 경우 수렴에 실패하는 반면, FEDG는 성능을 크게 향상시킵니다.

Fig 15: 비교적 일정한 템포로 음악을 연주하는 단일 공 뮤직 플레이어의 스냅샷. 키를 친 후, 저희의 강건한 스파우트 컨트롤러는 먼저 공을 잡은 다음, 키 바로 아래의 다음 목표로 이동하여 칠 시간을 기다립니다.

Fig 16: 저희 방법은 FEDG를 사용하여 수송 과제를 위한 강건한 컨트롤러를 성공적으로 훈련시킵니다. 전체 데모는 비디오를 참조하시기 바랍니다.