여러 목표를 동시에 최적화해야 하는 다중 목표 최적화 문제는 수많은 응용 분야에서 널리 퍼져 있습니다. 기존의 다중 목표 최적화 방법들은 종종 수동으로 조정된 집계 함수에 의존하여 공동 최적화 목표를 공식화합니다. 이러한 수작업으로 조정된 방법의 성능은 신중한 가중치 선택에 크게 의존하며, 이는 시간이 많이 걸리고 힘든 과정입니다. 이러한 한계는 물리적으로 시뮬레이션된 캐릭터를 위한 강화학습 기반 모션 트래킹 방법의 설정에서도 발생하는데, 여기서는 일반적으로 높은 충실도의 결과를 얻기 위해 복잡하게 만들어진 보상 함수가 사용됩니다. 이러한 해결책들은 도메인 전문 지식과 상당한 수동 튜닝이 필요할 뿐만 아니라, 결과적으로 얻어지는 보상 함수가 다양한 기술에 걸쳐 적용되는 것을 제한합니다.

이러한 격차를 해소하기 위해, 저희는 모션 트래킹을 포함한 광범위한 다중 목표 강화학습 과제에 폭넓게 적용할 수 있는 새로운 적대적 다중 목표 최적화 기법을 제시합니다. 저희가 제안하는 적대적 미분 판별기(Adversarial Differential Discriminator, ADD)는 단 하나의 긍정 샘플만을 받지만, 최적화 과정을 효과적으로 이끄는 데 여전히 효과적입니다. 저희는 이 기법을 통해 캐릭터가 다양한 곡예적이고 민첩한 행동을 거의 똑같이 복제할 수 있음을 보여주며, 수동으로 설계된 보상 함수에 의존하지 않고도 최첨단 모션 트래킹 방법과 비슷한 수준의 품질을 달성합니다.

물리 기반 캐릭터 애니메이션은 지난 몇 년간 빠른 발전을 이루었습니다. 데이터 기반 강화 학습 방법들은 이 분야가 보행과 같은 비교적 단순하고 일반적인 행동을 위한 컨트롤러를 합성하는 것에서부터, 매우 역동적이고 복잡한 다양한 기술을 복제할 수 있는 컨트롤러를 만드는 수준까지 성장할 수 있게 했습니다. 강화 학습 방법의 효과는 보상 함수에 크게 좌우되는데, 이는 설계하고 조정하는 데 상당한 수작업이 필요한 경향이 있습니다. 수동 보상 엔지니어링의 대안으로, 적대적 모방 학습 기술은 적대적 판별기의 형태로 데이터로부터 보상 함수를 자동으로 학습합니다. 이러한 인상적인 발전에도 불구하고, 물리 시뮬레이션 애니메이션과 인간 모션 캡처 사이에는 품질 격차가 계속 존재해왔습니다. 이전의 적대적 모방 학습 방법들은 자연스럽고 실제 같은 행동을 생성하는 데 효과적이었지만, 종종 재현하고자 하는 정확한 참조 모션에서 벗어나는 경우가 많았습니다. 목표 모션의 정밀한 복제에 초점을 맞추기보다는, 이러한 방법들은 분포 매칭 목표를 통해 모션의 전반적인 스타일을 포착합니다. 그러나 목표 모션을 긴밀하게 복제하는 것은 많은 애니메이션 응용 분야에서 매우 중요할 수 있습니다. 본 연구에서는 광범위한 다중 목표 최적화(MOO) 문제에 폭넓게 적용될 수 있는 새로운 적대적 다중 목표 최적화 기술을 제시합니다. 캐릭터 애니메이션의 모션 트래킹에 적용될 때, 우리의 기술은 물리 기반 컨트롤러가 수동으로 설계된 보상 함수에 의존하지 않고도 인간 배우로부터 기록된 도전적인 참조 모션을 정확하게 모방할 수 있게 합니다.

MOO 문제를 해결하기 위해 일반적으로 사용되는 기법은 손실 균형(loss balancing) 방법으로, 여러 목표를 가중합(weighted sum)을 통해 스칼라 함수로 결합합니다. 이 접근법은 간단하지만, 신중한 가중치 선택에 크게 의존하며, 이 과정은 수동으로 할 때 시간이 많이 걸리고 노동 집약적일 수 있습니다. 이러한 한계를 해결하기 위해, 우리 기술은 전통적인 목표 함수의 가중합을 적대적 미분 판별기(ADD)로 대체하여 여러 목표를 자동으로 통합합니다. 판별기는 목표 값들의 벡터를 입력으로 받는데, 여기서 이 벡터는 미분 벡터(differential vector)라고 지칭됩니다. 왜냐하면 목표 값들이 모델의 성능과 각 목표에 대한 이상적인 성능 간의 차이를 나타내기 때문입니다. 훈련 중에 판별기는 주어진 미분 벡터가 이상적인 해에 해당하는지 여부를 분류하는 법을 학습합니다. 이 설계는 판별기가 훈련 과정 동안 다양한 목표들의 균형을 맞추는 방법을 자동으로 그리고 동적으로 결정할 수 있게 하며, 모델의 성능이 향상됨에 따라 더 어려운 목표에 자동으로 집중하게 합니다. 더욱이, 우리의 공식에서는 판별기에 제공되는 유일한 긍정 샘플은 이상적인 '오차 없는' 해의 미분 벡터를 나타내는 제로 벡터입니다. 이 연구의 핵심 발견 중 하나는 단 하나의 긍정 샘플로 훈련된 판별기가 최적화 과정을 안내하는 데 여전히 효과적이라는 것입니다.

이 논문의 핵심 기여는 다중 목표 최적화를 위한 새로운 GAN 기반 프레임워크입니다. 우리의 프레임워크는 MOO 문제에서 서로 다른 목표들을 통합하는 자동적이고 동적인 방법을 제공합니다. 또한, 전통적인 손실 가중치 부여 접근법과 달리, 우리 프레임워크는 목표들 간의 잠재적인 비선형적 관계를 포착할 수 있습니다. 우리는 우리의 접근법이 시뮬레이션된 캐릭터의 모션 트래킹 및 비-모션 모방 작업을 포함한 여러 MOO 문제에 걸쳐 수작업으로 만든 목표 통합 함수를 사용하는 기존 방법들과 비슷한 성능을 달성함을 보여줍니다. 우리의 프레임워크는 시뮬레이션된 인간형 캐릭터와 로봇이 다양하고 민첩하며 곡예적인 기술들을 성공적으로 복제할 수 있게 하며, 최첨단 모션 트래킹 방법들과 동등한 수준의 품질을 달성하면서도 수동 보상 엔지니어링의 필요성을 완화합니다.

물리 기반 캐릭터 애니메이션은 가상 캐릭터를 위한 현실적이고 반응적인 행동을 자동으로 합성할 수 있는 절차적 방법을 가능하게 합니다. 핵심 과제는 인간과 동물이 보여주는 방대한 운동 기술을 재현하면서도 생동감 있는 움직임을 만들어내는 컨트롤러를 개발하는 것이었습니다. 초기 연구들은 Coros/2010/ControlStrategies, Hodgins/1995/ControlStrategies, Wooten/1998/ControlStrategies, Yin/2007/ControlStrategies에서처럼 인간의 통찰력을 활용하여 기술별 제어 전략을 설계했습니다. 이러한 수동으로 설계된 컨트롤러는 Al Borno/2013/ComplexMotorSkills, Da Silva/2008/ComplexMotorSkills, Geyer/2003/ComplexMotorSkills, Mordatch/2012/ComplexMotorSkills에서 보듯이 다양한 복잡한 운동 기술을 복제하는 데 효과적이었습니다. 하지만, 기술별 컨트롤러를 설계하는 것은 종종 긴 개발 과정을 수반하며, 도메인 전문 지식이 부족한 기술에 적용하기 어려울 수 있습니다. 최적화 기반 방법은 Al Borno/2013/Optimization, de Lasa/2010/Optimization, Mordatch/2012/Optimization, Naderi/2017/Optimization, van de Panne/1994/Optimization, Wampler/2014/Optimization과 같이 수동 엔지니어링에 대한 의존도를 완화할 수 있지만, 그럼에도 불구하고 간결한 최적화 매개변수 집합을 노출하는 신중하게 설계된 제어 구조를 요구할 수 있습니다. 더욱이, 특정 기술에 대해 자연스러운 행동으로 이어지는 적절한 목적 함수를 설계하는 것은 Geijtenbeek/2013/ObjectiveFunctions, Wang/2009/ObjectiveFunctions에서처럼 벅찬 과제가 될 수 있습니다. 최근의 한 연구 흐름은 Cui/2025/LLMforObjectives, Ma/2023/LLMforObjectives와 같이 대규모 언어 모델(LLM)을 활용하여 목적 함수 설계를 자동화하는 것을 탐구합니다.

데이터 기반 방법: 한편, 데이터 기반 기술은 모션 캡처나 아티스트가 애니메이팅한 키프레임을 통해 얻은 참조 모션 데이터를 모방함으로써 컨트롤러 엔지니어링의 일부 어려움을 완화합니다 (Sharon/2005/MotionImitation, Zordan/2002/MotionImitation). 모션 데이터를 모방하는 가장 일반적인 접근법 중 하나는 모션 트래킹을 통하는 것인데, 여기서 컨트롤러는 참조 모션 클립에 의해 규정된 목표 포즈를 명시적으로 추적하여 원하는 행동을 모방합니다 (Liu/2005/MotionTracking, Liu/2010/MotionTracking, Sok/2007/MotionTracking). 이러한 트래킹 기반 방법들은 모든 행동에 대해 기술별 목적을 설계할 필요 없이 광범위한 행동을 재현할 수 있습니다 (Lee/2010/GeneralTracking, Liu/2018/GeneralTracking, Liu/2016/GeneralTracking). 심층 강화 학습과 결합된 모션 트래킹은 다양한 운동 기술을 모방할 수 있는 일반적인 프레임워크로 이어졌으며(Peng/2018/DeepMimic), 동일한 학습 알고리즘을 사용하여 수백 가지의 독특한 행동을 재현할 수 있는 시스템도 등장했습니다 (Wang/2020/GeneralFrameworks, Won/2020/GeneralFrameworks, Yuan/2021/GeneralFrameworks). 모션 트래킹 방법의 성공에 있어 중요한 요소는 다양한 기술에 적용될 수 있을 만큼 충분히 일반적인 트래킹 목적을 설계하는 동시에, 각 특정 기술에 대해 고품질의 결과를 만들어내는 것입니다 (Ma/2021/TrackingObjectives, Wang/2020/TrackingObjectives). 따라서 범용 트래킹 목적을 구성하는 것은 지루한 설계 및 튜닝 과정을 수반할 수 있습니다.

적대적 모방 학습: 적대적 모방 학습 및 관련 역강화 학습 방법은 적대적 최소-최대 게임을 통해 데이터로부터 목적 함수와 해당 정책을 공동으로 학습함으로써 목적 함수의 수동 설계를 대체합니다 (Abbeel/2004/IRL, Ziebart/2008/IRL). 적대적 모방 학습은 Goodfellow/2014/GAN의 GAN과 유사한 프레임워크를 통해 구현될 수 있는데, 여기서 판별자는 시연자의 행동과 에이전트가 생성한 행동을 구별하도록 훈련됩니다. 그러면 에이전트는 판별자의 예측 오류를 최대화하는 행동을 생성하는 정책을 학습하는 것을 목표로 합니다 (Ho/2016/GAIL). 이 적대적 프레임워크는 시연과 에이전트의 행동 분포 사이의 발산에 대한 변분 근사를 최적화함으로써 시연을 모방하는 것으로 나타났습니다 (Ke/2021/VariationalApprox, Nowozin/2016/VariationalApprox). Peng/2021/AMP은 적대적 모방 학습을 활용하여 다양한 모션 클립을 포함하는 비정형 모션 데이터셋에서 과제와 관련된 행동을 모방할 수 있는 컨트롤러를 훈련했습니다. 이러한 적대적 기술들은 최첨단 모션 트래킹 방법에 필적하는 고품질의 모션을 생성할 수 있었습니다 (Peng/2022/HighQualityMotion, Peng/2019/HighQualityMotion, Xu/2021/HighQualityMotion). 그러나 모션 모방을 위한 이전의 적대적 모방 학습 방법들은 에이전트가 데이터셋의 전체 모션 분포와 일치하기만 하면 되는 일반적인 분포 매칭 공식을 활용합니다 (Peng/2021/DistributionMatching, Xu/2021/DistributionMatching). 이는 에이전트에게 모션 전환과 세그먼트를 다른 순서로 시퀀싱할 수 있는 유연성을 제공하며, 타겟 모션 분포의 모드를 누락할 가능성도 있습니다. 이러한 유연성은 특정 응용 분야에서는 장점이 될 수 있지만, 인비트위닝이나 키프레임 애니메이션의 후처리처럼 모션 클립의 정확한 복제가 필요한 애니메이션 응용 프로그램에서는 해로울 수 있습니다.

다중 목적 최적화: MOO 문제는 여러 목적을 동시에 최적화하는 것을 포함합니다. 일반적인 전략은 가중 합을 통해 목적들을 결합하는 것입니다. 그러나 이러한 방법들의 효과는 선택된 가중치에 매우 민감하며, 이는 세심한 수동 튜닝을 수반합니다. 다중 목적 진화 알고리즘은 해의 집단을 진화시켜 파레토 프론트를 근사할 수 있습니다 (Deb/2002/MOEA, Xu/2020/MOEA). 예를 들어, Agrawal/2013/CMA-ES는 (1 + 𝜆) CMA-ES를 적용하여 노력과 점프 높이 사이의 최적의 절충안을 가진 점핑 컨트롤러를 합성했습니다 (Igel/2007/CMA-ES). 그러나 진화 알고리즘은 많은 해 집단을 평가하고 유지해야 하므로 계산 비용이 많이 듭니다. Chen/2019/MetaPolicy는 다른 선호도 벡터에 빠르게 적응할 수 있는 단일 메타 정책을 훈련하는 더 효율적인 방법을 제안했습니다. 하지만, 이는 다양한 목적 스케일 때문에 어려울 수 있는 선호도를 수동으로 지정해야 합니다. Abdolmaleki/2020/MultiCritic 및 Xu/2023/MultiCritic과 같은 이전 연구는 각 목적에 자체 비평가를 할당하고 이 비평가 집합에 대해 단일 정책을 공동으로 최적화하는 스케일 불변 다중 크리틱 RL 프레임워크를 도입하여 이 문제를 해결합니다. 본 연구에서는 수동 선호도 지정이나 다중 비평가 없이 상이한 목적들의 균형을 자동으로 맞추는 적대적 MOO 접근법을 제안합니다. 더욱이, 우리 방법은 이질적인 목적들 간의 복잡한 관계와 잠재적으로 비볼록인 파레토 프론트를 더 잘 포착할 수 있는 목적들의 비선형 조합을 가능하게 합니다.

본 연구에서는 적대적 차분 판별기(adversarial differential discriminator, ADD)를 사용하는 다중 목표 최적화 방법을 제안합니다. 그 효과를 평가하기 위해, 우리는 에이전트가 동시에 여러 목표를 최적화하는 것을 목표로 하는, MDP로 모델링된 다양한 제어 문제들을 해결하는 데 ADD를 적용합니다. MDP는 상태 공간 S, 행동 공간 A, 할인 계수 $\gamma \in [0, 1]$, 초기 상태 분포 $\rho_0(s)$, 동역학 함수 $\rho(s'|s, a)$, 그리고 보상 함수 $r$을 갖는 $M= (S, A, \gamma, \rho_0, \rho, r)$로 정의됩니다. 에이전트는 각 타임스텝 $t$에서 상태 $s_t$에 조건부인 정책 $a_t \sim \pi(a_t|s_t)$로부터 행동을 샘플링하여 환경과 상호작용합니다. 그 후 에이전트는 행동을 수행하고, 이는 환경 동역학 $s_{t+1} \sim \rho(s_{t+1}|s_t, a_t)$에 따라 샘플링된 새로운 상태 $s_{t+1}$을 결과로 낳습니다. 궤적 $\tau= (s_0, a_0, s_1, a_1, ..., s_{T-1}, a_{T-1}, s_T)$는 상태 $s_t \in S$와 행동 $a_t \in A$ 쌍의 시퀀스로 구성됩니다. 에이전트의 목표는 기대 할인 총보상 $J(\pi)$를 최대화하는 정책을 학습하는 것입니다.

여기서 $p(\tau|\pi) = \rho_0(s_0) \prod_{t=0}^{T-1} \rho(s_{t+1}|s_t, a_t)\pi(a_t|s_t)$는 정책 $\pi$ 하에서 궤적 $\tau$가 나타날 확률을 나타냅니다.

다중 목표 최적화(MOO) 문제에서, 여러 목표들은 일반적으로 손실 함수로 표현되며, 목표는 이러한 손실들을 함께 최소화하는 것입니다. $1 \le i \le n$에 대해 $i$번째 손실 함수를 $l_i(\cdot)$로 표기합시다. 다음 논의에서는 각 손실 함수가 음수가 아니라고 가정합니다: $l_i(\cdot) \ge 0$. MOO 문제를 해결하기 위한 일반적인 접근 방식은 가중합(weighted sum)을 사용하여 개별 손실 함수들을 통합하는 것입니다:

여기서 $w_i$는 $i$번째 손실 함수에 할당된 해당 가중치를 나타냅니다. 그러면 최적화 문제의 목표는 이 손실 함수들의 선형 결합을 최소화하는 모델 파라미터 $\theta$ 집합을 찾는 것입니다 (Kendall/2017/Multi-Task Learning, Liu/2019/End-to-End Multi-Task). 그러나 이 공식은 개별 목표들의 통합을 선형 결합으로 제한합니다. 본 연구에서는 적대적 차분 판별기(adversarial differential discriminator) $D(\Delta)$를 사용하여 비선형 통합을 구성하는 것을 제안하며, 이는 우리 방법이 목표들의 더 유연한 조합을 자동으로 학습할 수 있게 합니다. 우리 프레임워크에서, 손실 함수 $l_i(\theta)$들은 차분 벡터(differential vector) $\Delta = [l_1(\theta), ..., l_n(\theta)]$로 조합됩니다. 차분 벡터는 각 목표에 대한 이상적인 성능과 실제 성능 간의 오차, 즉 차이로 해석될 수 있습니다. 판별기 $D(\Delta)$는 $\Delta$ 안의 개별 손실들을 단일 통합 손실로 결합하는 비선형 통합 함수 역할을 합니다. 그 후 다중 목표들은 Goodfellow/2014/GANs의 적대적 프레임워크를 통해 함께 최적화되며, 이는 MOO 문제를 미니맥스 게임으로 공식화합니다:

ADD와 이전의 적대적 학습 프레임워크 간의 핵심적인 차이점은 적대적 차분 판별기 $D$가 단 하나의 포지티브 샘플, 즉 이상적인 해의 차분 벡터에 해당하는 제로 벡터 $\Delta = 0$만을 받는다는 것입니다. 이 연구의 핵심 발견 중 하나는 단 하나의 포지티브 샘플로 훈련된 적대적 판별기가 여전히 광범위한 과제를 해결하는 데 효과적일 수 있다는 것입니다. 그러나 단순히 수식 3을 최적화하는 것은 판별기 $D$가 제로 차분 벡터에는 1의 점수를, 0이 아닌 다른 모든 차분 벡터에는 0의 점수를 할당하는 델타 함수로 수렴하는 퇴화된 행동으로 이어질 수 있습니다. 이 델타 함수는 유익하지 않은 그래디언트를 초래하여 최적화 과정을 손상시킬 수 있습니다. 이러한 퇴화 현상을 완화하기 위해, 우리는 Peng/2021/AMP를 따라 그래디언트 페널티(GP) 정규화 항을 도입합니다:

여기서 그래디언트 페널티 $L_{GP}$는 다음과 같이 주어집니다:

수식 4에 요약된 목표로 훈련할 때, 모델은 판별기를 속이기 위해 $\Delta$를 0에 더 가깝게 만들도록 파라미터 $\theta$를 조정합니다. 한편, 판별기는 동적으로 다른 목표들에 주의를 기울이고 더 어려운 목표 조합에 집중하여 모델에 지속적으로 도전합니다.

다중 목표 최적화(MOO) 문제에서, 여러 목표는 일반적으로 손실 함수로 표현되며, 목표는 이러한 손실들을 함께 최소화하는 것입니다. $l_i(\cdot)$를 $1 \le i \le n$에 대한 $i$번째 손실 함수라고 합시다. 다음 논의에서는 각 손실 함수가 음수가 아니라고 가정합니다: $l_i(\cdot) \ge 0$. MOO 문제를 해결하기 위한 일반적인 접근 방식은 가중합(weighted sum)을 사용하여 개별 손실 함수들을 통합하는 것입니다:

여기서 $w_i$는 $i$번째 손실 함수에 할당된 해당 가중치를 나타냅니다. 그러면 최적화 문제의 목표는 이 손실 함수들의 선형 결합을 최소화하는 모델 파라미터 집합 $\theta$를 찾는 것입니다 (Kendall/2017/Multi-Task Learning, Liu/2019/Loss Balancing).

하지만 이 공식은 통합을 개별 목표들의 선형 결합으로 제한합니다. 본 연구에서는 적대적 미분 판별기(adversarial differential discriminator) $D(\Delta)$를 사용하여 비선형 통합을 구성하는 것을 제안하며, 이는 우리 방법이 목표들의 더 유연한 결합을 자동으로 학습할 수 있게 합니다. 우리 프레임워크에서 손실 함수들 $l_i(\theta)$는 미분 벡터(differential vector) $\Delta = \langle l_1(\theta), ..., l_n(\theta) \rangle$로 조합됩니다. 미분 벡터는 각 목표에 대한 이상적인 성능과 실제 성능 간의 오류 또는 차이로 해석될 수 있습니다. 판별기 $D(\Delta)$는 개별 손실들을 $\Delta$ 안에서 단일 통합 손실로 결합하는 비선형 통합 함수 역할을 합니다. 그런 다음 여러 목표는 적대적 프레임워크(Goodfellow/2014/GANs)를 통해 공동으로 최적화되며, 이는 MOO 문제를 미니맥스 게임(mini-max game)으로 공식화합니다:

ADD와 이전의 적대적 학습 프레임워크 간의 핵심적인 차이점은 적대적 미분 판별기 $D$가 이상적인 해의 미분 벡터에 해당하는 단일 양성 샘플, 즉 제로 벡터 $\Delta = 0$만을 받는다는 것입니다. 이 연구의 주요 발견 중 하나는 단일 양성 샘플로 훈련된 적대적 판별기가 여전히 광범위한 작업을 해결하는 데 효과적일 수 있다는 것입니다.

그러나 단순히 수식 3을 최적화하면 퇴화된 행동(degenerate behaviors)으로 이어질 수 있는데, 여기서 판별기 $D$는 제로 미분 벡터에 1의 점수를 할당하고 0이 아닌 다른 모든 미분 벡터에 0의 점수를 할당하는 델타 함수로 수렴할 수 있습니다. 이 델타 함수는 정보가 없는 그래디언트(uninformative gradients)로 이어져 최적화 과정을 손상시킬 수 있습니다. 이러한 퇴화 현상을 완화하기 위해, 우리는 Peng/2021/AMP를 따라 그래디언트 페널티(GP) 정규화기를 도입합니다:

여기서 그래디언트 페널티 $\mathcal{L}_{GP}$는 다음과 같이 주어집니다:

수식 4에 요약된 목적 함수로 훈련할 때, 모델은 판별기를 속이기 위해 $\Delta$를 0에 가깝게 만들도록 파라미터 $\theta$를 조정합니다. 한편, 판별기는 동적으로 다른 목표에 주의를 기울이고 더 어려운 목표 조합에 집중하여 모델에 지속적으로 도전합니다.

이 섹션에서는 물리적으로 시뮬레이션된 캐릭터가 어려운 참조 모션을 모방할 수 있도록 제어 정책을 훈련시키기 위해 강화 학습 프레임워크에 ADD를 어떻게 적용할 수 있는지 보여줍니다. RL 기반 모션 트래킹 방법은 일반적으로 다양한 보상 항 $r_t^i$의 가중합으로 구성된 트래킹 보상을 사용합니다.

각 보상 항은 에이전트의 모션과 특정 모션 특징에 대한 참조 모션 간의 오차를 정량화합니다(Chentanez/2018/Motion Tracking, Peng/2018/DeepMimic, Wang/2020/RL Motion). 예를 들어 관절 회전, 루트 위치 등이 있습니다. 이러한 보상 항에 일반적으로 사용되는 공식은 지수화된 오차입니다:

여기서 $q_t^i$는 에이전트의 상태 $s_t$에서 추출된 위치나 속도와 같은 특징 벡터를 나타냅니다; $\hat{q}_t^i$는 참조 모션에 의해 지정된 해당 목표 특징입니다; 그리고 $\alpha_i$는 수동으로 지정된 스케일 파라미터입니다. 광범위한 모션의 정밀한 모방을 위한 효과적인 보상 함수를 수동으로 설계하는 것은 어려울 수 있습니다. 더욱이, 보상 파라미터 $w_i$와 $\alpha_i$는 튜닝하기가 힘들 수 있으며, 다른 유형의 모션에 맞게 조정해야 할 수도 있습니다.

우리는 모션 트래킹을 MOO 문제로 모델링하고 식 6의 선형 가중합을 학습된 적대적 미분 판별자로 대체하는 적응형 모션 트래킹 보상 함수를 제안합니다. 훈련 중에 판별자 $D(\Delta)$는 에이전트의 상태 $s$와 참조 모션 $\hat{s}$ 간의 차이를 음성 샘플(즉, $\Delta = \hat{s} \ominus s$)로 받습니다. $D$에 제공되는 유일한 양성 샘플은 완벽한 트래킹과 0의 트래킹 오차를 나타내는 $\Delta = 0$입니다. 판별자 $D$는 다음 목적 함수를 사용하여 훈련됩니다:

여기서 그래디언트 페널티 정규화기는 다음과 같이 지정됩니다.

여기서 $p(s|\pi)$는 정책 $\pi$ 하에서의 한계 상태 분포를 나타냅니다. 우리 프레임워크에서는 ADD가 단 하나의 양성 훈련 샘플만 받기 때문에, 그래디언트 페널티가 양성 샘플 대신 음성 샘플에 적용됩니다. 이는 그래디언트 페널티가 양성 샘플에만 독점적으로 적용되었던 Peng/2021/AMP와 같은 이전 연구와 다릅니다. 트래킹 정책 $\pi$를 훈련하기 위한 보상은 다음과 같이 주어집니다:

여기서 미분 벡터는 단순히 에이전트의 상태와 목표 상태 간의 차이인 $\Delta_t = \hat{s}_t \ominus s_t$입니다.

이전의 적대적 모방 학습 기술은 분포 매칭 접근법을 채택하여, 판별자 $D(s_{t-n:t})$가 $n$개의 상태 시퀀스를 참조 또는 정책 생성으로 분류합니다. 이는 정책이 참조 모션의 특성을 광범위하게 닮은 궤적을 생성하도록 장려합니다. 대조적으로, 우리의 공식은 정밀한 프레임 수준의 복제를 허용하며, 이는 모션 인비트위닝이나 애니메이션 키프레임 후처리와 같이 높은 정확도를 요구하는 응용 프로그램에 필수적입니다.

Peng/2021/AMP를 따라, 관찰 맵 $\phi(\cdot)$은 에이전트의 상태 $s$와 참조 모션 $\hat{s}$에서 특징을 추출합니다. 그러면 미분 벡터는 추출된 특징들 간의 차이 $\Delta_t = \phi(\hat{s}_t) \ominus \phi(s_t)$로 구성됩니다. 관찰 맵 $\phi(\cdot)$은 Peng/2018/DeepMimic의 것과 유사한 특징 집합을 추출합니다:

• 루트의 전역 위치 및 회전
• 캐릭터의 지역 좌표 프레임에서 표현된 각 관절의 위치
• 각 관절의 전역 회전
• 캐릭터의 지역 좌표 프레임에서 표현된 루트의 선형 및 각속도
• 각 관절의 지역 속도

여기서 캐릭터의 지역 좌표 프레임은 원점이 캐릭터의 루트(즉, 골반)에 위치하도록 지정됩니다. 지역 좌표 프레임의 x축은 루트 링크의 정면 방향과 정렬되며, 양의 y축은 전역 상향 방향을 가리킵니다.

모션 모방에 대한 ADD의 효과를 평가하기 위해, 우리는 28 자유도(DoF)의 시뮬레이션된 휴머노이드와 26 자유도의 시뮬레이션된 소니 EVAL 로봇(Taylor/2021/Sony EVAL robot)이 다양한 모션 클립 모음을 모방하도록 ADD를 적용하여 훈련합니다. 우리는 Peng/2018/DeepMimic의 개별 모션 클립을 모방하는 것뿐만 아니라, AMASS의 DanceDB 서브셋 및 LaFAN1의 서브셋(Harvey/2020/LaFAN1, Mahmood/2019/AMASS)과 같은 더 큰 모션 데이터셋에 대해 단일 일반 정책을 훈련하는 것에 대해 ADD를 평가합니다. LaFAN1 서브셋은 우리 환경에서 시뮬레이션되지 않는 객체 및 지형 상호작용을 포함하는 모션을 제외하여 선별되었습니다. LaFAN1 서브셋은 점프, 질주, 싸움, 춤 등 다양한 이동 기술을 포함하여 한 시간이 넘는 분량을 담고 있습니다.

상태 $s_t$는 Peng/2021/AMP에서 사용된 것과 유사한 특징들로 구성되며, 여기에는 루트에 대한 각 신체 링크의 위치, 6D 법선-접선 표현법으로 인코딩된 링크의 회전, 그리고 각 링크의 선형 및 각속도가 포함됩니다. 모든 특징은 캐릭터의 지역 좌표 프레임에 기록됩니다. 참조 모션의 목표 포즈도 시뮬레이션된 캐릭터를 참조 모션과 동기화하기 위해 정책에 제공됩니다. 정책의 행동 $a_t$는 각 관절에 대한 목표 회전을 지정하며, 이는 PD 제어기를 사용하여 작동됩니다. 구형 관절 목표는 3D 지수 맵(Grassia/1998/Exponential Maps)을 사용하여 표현되는 반면, 회전 관절은 스칼라 회전 각도를 사용하여 표현됩니다.

정책 $\pi$는 주어진 상태 $s_t$를 행동에 대한 가우시안 분포 $\pi(a_t|s_t) = \mathcal{N}(\mu(s_t), \Sigma)$로 매핑하는 신경망으로 모델링됩니다. 공분산 행렬 $\Sigma$는 훈련 과정 동안 고정되며, 수동으로 지정된 값들을 갖는 대각 행렬 $\Sigma = \text{diag}(\sigma_1, \sigma_2, ...)$로 표현됩니다. 입력에 의존하는 평균 $\mu(s_t)$는 1024개와 512개의 ReLU 활성화 유닛(Nair/2010/ReLU)으로 구성된 두 개의 은닉층을 가진 완전 연결 네트워크로 모델링되고, 그 뒤에 선형 출력층이 따릅니다. 가치 함수 $V(s_t)$와 판별자 $D(\Delta)$에도 유사한 구조가 채택되지만, 이들의 출력층은 단일 선형 유닛으로 구성됩니다.

ADD 훈련 절차의 개요는 알고리즘 1에 요약되어 있습니다. Peng/2018/DeepMimic를 따라, 캐릭터는 참조 모션에서 무작위로 샘플링된 시작 상태로 초기화됩니다. 각 타임스텝 $t$에서, 에이전트의 상태 $\phi(s_t)$와 참조 모션의 목표 상태 $\phi(\hat{s}_t)$에서 특징이 추출됩니다. 그 차이 $\Delta_t = \phi(\hat{s}_t) \ominus \phi(s_t)$는 판별자에 입력으로 제공됩니다. 그러면 판별자 $D(\Delta_t)$는 점수를 출력하고, 이 점수는 식 10에 따라 에이전트의 보상을 계산하는 데 사용됩니다.

에이전트에 의해 수집된 궤적은 경험 버퍼 B에 기록됩니다. 데이터 배치가 수집된 후, 버퍼에서 미니배치가 샘플링되어 판별자, 정책, 그리고 가치 함수를 업데이트합니다. 정책은 PPO(Schulman/2017/PPO)를 사용하여 업데이트되며, 어드밴티지는 GAE(𝜆)(Schulman/2018/GAE)로 계산됩니다. 가치 함수는 TD(𝜆)(Sutton/2018/TD Learning)로 계산된 목표 값을 사용하여 업데이트되고, 판별자는 식 8에 따라 업데이트됩니다.

Peng et al. [2018] (VS)의 방법을 따라, 캐릭터는 참조 모션에서 무작위로 샘플링된 시작 상태로 초기화됩니다. 각 타임스텝 $t$에서, 에이전트의 상태 $\phi(s_t)$와 참조 모션의 목표 상태 $\phi(\hat{s}_t)$로부터 특징이 추출됩니다. 그 차이인 $\Delta_t = \phi(\hat{s}_t) \ominus \phi(s_t)$가 판별자의 입력으로 제공됩니다. 그러면 판별자 $D(\Delta_t)$는 점수를 출력하고, 이 점수는 수식 10에 따라 에이전트의 보상을 계산하는 데 사용됩니다.

에이전트에 의해 수집된 궤적들은 경험 버퍼 $B$에 기록됩니다. 데이터 배치가 수집된 후, 미니배치들이 버퍼에서 샘플링되어 판별자, 정책, 그리고 가치 함수를 업데이트합니다. 정책은 PPO Schulman/2017/PPO를 사용하여 업데이트되며, 어드밴티지는 GAE($\lambda$) Schulman/2018/GAE로 계산됩니다. 가치 함수는 TD($\lambda$) Sutton and Barto/2018/RL Book로 계산된 목표 가치를 사용하여 업데이트되고, 판별자는 수식 8에 따라 업데이트됩니다.

알고리즘 1: 모션 모방을 위한 ADD 훈련 절차
1: 입력 M: 참조 모션 클립 또는 데이터셋
2: $D \leftarrow$ 판별자 초기화
3: $\pi \leftarrow$ 정책 초기화
4: $V \leftarrow$ 가치 함수 초기화
5: B $\leftarrow \emptyset$ 경험 버퍼 초기화
6: 완료될 때까지 반복
7:   궤적 $i=1, ..., m$에 대해 반복
8:     $\tau_i \leftarrow \{(s_t, a_t)_{t=0}^{T-1}, s_T\}$ $\pi$로 궤적 수집
9:     $\hat{\tau}_i \leftarrow \{(\hat{s}_t)_{t=0}^T\}$ M에서 참조 궤적 샘플링
10:     타임스텝 $t=0, ..., T-1$에 대해 반복
11:       $\Delta_t \leftarrow \phi(\hat{s}_t) \ominus \phi(s_t)$
12:       $d_t \leftarrow D(\Delta_t)$
13:       $r_t \leftarrow$ $d_t$를 사용하여 수식 10에 따라 보상 계산
14:       $\tau_i$에 $r_t$ 기록
15:     반복 종료
16:     $B$에 $\tau_i$ 저장
17:   반복 종료
18:   업데이트 스텝 $= 1, ..., n$에 대해 반복
19:     $b_\pi \leftarrow$ $B$에서 $K$개의 차분 ${\Delta_j}_{j=1}^K$ 배치 샘플링
20:     $b_\pi$를 사용하여 $D$(수식 8), $V$, 그리고 $\pi$ 업데이트
21:   반복 종료
22: 반복 종료

ADD의 모션 추적 성능을 벤치마킹하기 위해, 우리는 ADD를 두 가지 잘 알려진 방법인 DeepMimic과 AMP Peng/2018/DeepMimic, Peng/2021/AMP와 비교합니다. DeepMimic은 정확한 모션 추적을 위해 설계되었으며, 여러 하위 항으로 구성된 수동으로 설계된 모방 보상 함수에 의존합니다.

각 항은 지수화된 오차(수식 7)이며, 스케일 $\alpha_i$와 가중치 $w_i$ 하이퍼파라미터를 가집니다(전체 공식은 보충 자료 B.2 참조). 추가적으로, 관절 포즈 $r^p_t$와 속도 보상 $r^{jv}_t$를 계산하는 것은 관절별 가중치를 포함하여 추가적인 튜닝 노력이 필요합니다. ADD와 유사하게, DeepMimic 정책은 목표 프레임 형태로 위상 정보를 받아 정책을 주어진 참조 모션과 동기화합니다. 반면, AMP는 정확한 모션 추적보다는 모션 데이터셋의 일반적인 스타일을 모방하기 위해 적대적 모방 학습 프레임워크를 채택합니다. 정확한 모션 추적을 위해 설계되지는 않았지만, ADD가 유사한 적대적 프레임워크를 기반으로 하기 때문에 AMP를 비교에 포함시켰습니다. 그러나 AMP의 모방 목표를 조정함으로써, 우리의 접근 방식은 학습 목표를 일반적인 스타일 모방에서 정확한 모션 추적으로 변경할 수 있습니다. 많은 후속 연구들이 모방 목표와는 직교적인 구조적 혁신으로 DeepMimic과 AMP를 확장했습니다 Luo/2023/Follow-up, Peng/2022/Follow-up, Tessler/2024/Follow-up. 그러나 우리의 실험은 핵심 모방 목표에 초점을 맞춥니다. 따라서, 우리는 우리의 방법을 DeepMimic과 AMP와 직접 비교합니다. ADD는 DeepMimic과 AMP가 확장된 방식과 유사하게 이러한 추가적인 개선 사항들과 결합될 수도 있습니다.

방법들 간의 공정한 비교를 위해, 우리는 Peng/2018/DeepMimic에서 사용된 포즈 종료(pose termination)를 비활성화했습니다. 이는 캐릭터의 포즈가 참조와 크게 벗어날 경우 에피소드를 종료하는 기능입니다. 포즈 종료는 AMP와 같은 분포 매칭 기술에는 적용할 수 없는데, 여기서는 정책이 참조 모션과 동기화되지 않기 때문입니다. 조기 종료는 캐릭터가 원치 않는 지면 접촉을 할 때만 발동됩니다. 베이스라인들은 신뢰할 수 있는 비교를 보장하기 위해 Peng/2018/DeepMimic, Peng/2021/AMP가 제공하고 튜닝한 공개 코드를 기반으로 구현되었습니다. 모션 추적 성능은 위치 추적 오차 $e^{\text{pos}}_t$와 자유도(DoF) 속도 추적 오차를 사용하여 평가되며, 이는 모션의 부드러움을 나타내는 지표입니다. $e^{\text{pos}}_t$는 시뮬레이션된 캐릭터와 참조 모션 간의 루트 위치 및 상대적 관절 위치의 차이를 측정합니다:

여기서 $x^j_t$와 $\hat{x}^j_t$는 각각 시뮬레이션된 캐릭터와 참조 모션에서 온 관절 $j$의 3D 데카르트 좌표 위치를 나타냅니다. $N_{\text{joint}}$는 캐릭터의 관절 수를 나타냅니다. 상세한 하이퍼파라미터 설정은 보충 자료 B.4에서 확인할 수 있습니다.

그림 2와 3은 ADD를 통해 훈련된 휴머노이드와 EVAL 로봇이 학습한 행동들을 보여줍니다. 이 행동들은 보충 비디오에서 가장 잘 확인할 수 있습니다. ADD는 개별 모션 클립과 더 큰 모션 데이터셋을 다른 신체 구조로 긴밀하게 모방할 수 있으며, 다양한 민첩하고 곡예적인 기술들을 성공적으로 재현합니다. 여기에는 등반(Climb)과 더블 콩(Double Kong)과 같은 도전적인 파쿠르 기술이 포함되는데, 이는 환경과의 복잡한 접촉을 복제하기 위해 특히 높은 모션 추적 정확도를 요구합니다. 다른 방법들과의 정성적 비교는 보충 비디오에서 확인할 수 있습니다.

표 1과 표 2는 다른 방법들의 정량적 비교를 요약합니다. AMP는 정책이 일반적인 분포 매칭 목표를 사용하여 훈련되기 때문에 저조한 추적 성능을 보입니다. AMP의 모드 붕괴에 대한 취약성 또한 더 큰 모션 데이터셋을 추적하는 데 덜 효과적이게 만듭니다. ADD와 DeepMimic은 모두 다양한 참조 모션을 정확하게 추적할 수 있습니다. 그러나 보상 함수의 견고성과 배포 용이성에는 중요한 차이가 있습니다. 수동으로 설계된 보상 함수에 대한 의존성은, 다양한 행동을 모방할 수 있는 일반적이고 효과적인 보상 함수를 만드는 것이 어려울 수 있기 때문에, 어느 정도 DeepMimic의 광범위한 모션 모방 능력을 제한합니다. 예를 들어, DeepMimic 정책은 일부 도전적인 파쿠르 동작을 재현하는 데 실패했습니다. 더블 콩(Double Kong) 동작의 경우, DeepMimic 정책은 상자를 뛰어넘지 못하고 넘어진 후 제자리에서 뛰는 것을 모방하는 것을 학습합니다. 반면, ADD는 캐릭터가 장애물을 성공적으로 넘도록 하여 점프와 복잡한 접촉을 복제합니다. DeepMimic으로 훈련된 정책은 또한 DanceDB 데이터셋을 추적할 때 눈에 띄는 떨림 현상을 보이는 반면, ADD는 낮은 자유도(DoF) 속도 추적 오차에서 나타나듯이 다양한 동작에 걸쳐 일관되게 부드러운 행동을 생성합니다. 특히 DanceDB에 대한 추가적인 보상 튜닝은 DeepMimic의 성능을 더욱 향상시킬 수 있습니다. 그러나 고정된 수동 지정 파라미터에 의존하는 대신 자동으로 다른 목표들의 균형을 학습함으로써, ADD는 더 다양한 동작을 모방하기 위한 더 일반적이고 적응적인 접근 방식을 제공합니다.

모션 모방에 대한 ADD의 효과를 평가하기 위해, 우리는 28 자유도(DoF)의 시뮬레이션된 휴머노이드와 26 자유도의 시뮬레이션된 소니 EVAL 로봇(Taylor/2021/EVAL robot)이 다양한 모션 클립 모음을 모방하도록 ADD를 적용하여 훈련합니다. 우리는 Peng/2018/DeepMimic의 개별 모션 클립을 모방하는 것뿐만 아니라, AMASS의 DanceDB 서브셋이나 LaFAN1의 서브셋(Harvey/2020/LaFAN1, Mahmood/2019/AMASS)과 같은 더 큰 모션 데이터셋에 대해 단일 일반 정책을 훈련하는 것에 대해 ADD를 평가합니다. LaFAN1 서브셋은 우리의 환경에서는 시뮬레이션되지 않는 물체 및 지형 상호작용을 포함하는 모션을 제외하여 선별되었습니다. LaFAN1 서브셋은 점프, 전력 질주, 싸움, 춤 등을 포함한 다양한 이동 기술에 대해 한 시간이 넘는 분량을 포함하고 있습니다.

상태 $s_t$는 Peng/2021/AMP에서 사용된 것과 유사한 특징들로 구성됩니다. 여기에는 루트에 대한 각 신체 링크의 상대적 위치, 6D 법선-탄젠트 표현으로 인코딩된 링크의 회전, 그리고 각 링크의 선형 및 각속도가 포함됩니다.

모든 특징은 캐릭터의 지역 좌표계에 기록됩니다.

참조 모션의 목표 포즈 또한 시뮬레이션된 캐릭터를 참조 모션과 동기화하기 위해 정책에 제공됩니다.

정책의 행동 $a_t$는 각 관절에 대한 목표 회전을 지정하며, 이는 PD 제어기를 사용하여 구동됩니다.

구형 관절 목표는 3D 지수 맵(Grassia/1998/Exponential Maps)을 사용하여 표현되는 반면, 회전 관절은 스칼라 회전각을 사용하여 표현됩니다.

정책 $𝜋$는 주어진 상태 $s_t$를 행동에 대한 가우시안 분포, 즉 $𝜋(a_t|s_t) = N(𝜇(s_t), Σ)$로 매핑하는 신경망으로 모델링됩니다. 공분산 행렬 $Σ$는 훈련 과정 동안 고정되며, 수동으로 지정된 값들을 갖는 대각 행렬 $Σ = diag(𝜎_1, 𝜎_2, ...)$로 표현됩니다. 입력에 의존하는 평균 $𝜇(s_t)$는 1024개와 512개의 ReLU 활성화 유닛으로 구성된 두 개의 은닉층을 가진 완전 연결 네트워크로 모델링되며 Nair/2010/Rectified Linear Units, 그 뒤에 선형 출력층이 이어집니다. 가치 함수 $V(s_t)$와 판별자 $D(Δ)$에도 유사한 구조가 채택되지만, 이들의 출력층은 단일 선형 유닛으로 구성된다는 점이 다릅니다.

ADD 훈련 절차의 개요는 알고리즘 1에 요약되어 있습니다. Peng et al./2018/DeepMimic을 따라, 캐릭터는 참조 모션에서 무작위로 샘플링된 시작 상태로 초기화됩니다. 각 타임스텝 $t$에서, 에이전트의 상태 $\phi(s_t)$와 참조 모션의 목표 상태 $\phi(\hat{s}_t)$로부터 특징이 추출됩니다. 그 차이 $\Delta_t= \phi(\hat{s}_t) \ominus \phi(s_t)$는 판별자에 입력으로 제공됩니다. 그러면 판별자 $D(\Delta_t)$는 점수를 출력하며, 이 점수는 수식 10에 따라 에이전트의 보상을 계산하는 데 사용됩니다.

에이전트가 수집한 궤적들은 경험 버퍼 $B$에 기록됩니다. 데이터 배치가 수집된 후, 미니배치들이 버퍼에서 샘플링되어 판별자, 정책, 가치 함수를 업데이트합니다. 정책은 PPO(Schulman et al./2017/PPO)를 사용하여 업데이트되며, 어드밴티지는 GAE($\lambda$)(Schulman et al./2018/GAE)로 계산됩니다. 가치 함수는 TD($\lambda$)(Sutton and Barto/2018/RL Book)로 계산된 목표값을 사용하여 업데이트되고, 판별자는 수식 8에 따라 업데이트됩니다.

1: 입력 M: 참조 모션 클립 또는 데이터셋
2: D ← 판별자 초기화
3: π ← 정책 초기화
4: V ← 가치 함수 초기화
5: B ← ∅ 경험 버퍼 초기화
6: 완료되지 않는 동안 반복
7:     궤적 i = 1, ..., m에 대해 반복
8:         τ_i ← {(s_t, a_t)_t=0^(T-1), s_T} π로 궤적 수집
9:         ˆτ_i ← {(ˆs_t)_t=0^T} M에서 참조 궤적 샘플링
10:        타임스텝 t = 0, ..., T-1에 대해 반복
11:            Δ_t ← φ(ˆs_t) ⊖ φ(s_t)
12:            d_t ← D(Δ_t)
13:            r_t ← d_t를 사용하여 수식 10에 따라 보상 계산
14:            τ_i에 r_t 기록
15:        반복 종료
16:        B에 τ_i 저장
17:    반복 종료
18:    업데이트 단계 = 1, ..., n에 대해 반복
19:        b_π ← B에서 K개의 차분 {Δ_j}_j=1^K 배치 샘플링
20:        b_π를 사용하여 D(수식 8), V, π 업데이트
21:    반복 종료
22: 반복 종료

이 섹션에서는 모션 클립을 모방하고 추가적인 과제 목표를 달성할 수 있는 제어 정책을 훈련시키는 데 있어 ADD의 효과를 평가합니다. 저희의 실험은 목표 조종 과제에 초점을 맞추는데, 이 과제의 목표는 수평면상의 2D 단위 벡터로 지정된 목표 방향 $d^_t$를 따라 목표 속도 $v^$로 움직이는 것입니다. ADD의 경우, 이러한 과제 목표들은 차등 벡터 $\Delta$에 직접 통합되는 반면, AMP와 DeepMimic의 경우에는 모방 보상과 함께 별도의 과제 보상이 도입됩니다 (보충 자료 B.6). 목표 방향과 속도는 정책에 관측값으로 제공되며 훈련 중에 무작위로 설정됩니다. 표 3은 다양한 방법들의 성능을 요약합니다. ADD는 다양한 목표들의 균형을 자동으로 맞출 수 있어, 정책이 조종 명령을 정확하게 따르면서 원하는 참조 모션을 긴밀하게 모방하도록 합니다.

ADD가 모션 모방 태스크를 넘어서도 효과적임을 입증하기 위해, 우리는 표준 RL 벤치마크 태스크인 Walker 태스크 [Tassa et al. 2018]와 널리 사용되는 로봇 보행 프레임워크의 UniTree Go1 보행 태스크 [Rudin et al. 2022]에서 ADD를 평가합니다.

Walker 태스크는 3개의 다른 목표로 구성되어 있는 반면, Go1 태스크는 3개의 동적 조향 명령을 포함하여 12개의 목표를 가진 훨씬 더 복잡한 보상 함수를 제시합니다.

이 실험들은 여러 경쟁적인 목표들의 균형을 맞추는 ADD의 능력을 보여줍니다.

정책은 PPO를 사용하여 ADD 또는 Tassa et al./2018/DeepMind Control Suite과 Rudin et al./2022/Learning to Walk in Minutes의 수동으로 설계된 보상 함수로 훈련됩니다.

ADD 훈련 절차는 대체로 알고리즘 1을 따르며, 핵심적인 차이점은 참조 모션이 없다는 것입니다. 대신, 목표 상태 $ˆs_t$는 속도 명령이나 목표 방향과 같이 태스크에 의해 지정된 목표 값들로 구성됩니다. 각 태스크에 대한 구현 세부 정보는 보충 자료 C와 D에서 확인할 수 있습니다.

그림 5와 6은 두 가지 태스크, 즉 2D 워커를 달리도록 훈련하는 것과 4족 보행 Go1 로봇이 조향 명령을 따르며 걷도록 훈련하는 것에 대해 ADD와 수동으로 설계된 보상 함수 간의 정성적 비교를 보여줍니다. 학습된 행동의 예시는 보충 비디오에서 확인할 수 있습니다.

그림 5에서 볼 수 있듯이, ADD 정책은 수동으로 설계된 보상 함수로 생성된 행동과 비교할 만한 성능의 직립하고 빠른 달리기 행동을 만들어냅니다.

Fig. 5와 Fig. 6은 2D 워커를 달리도록 훈련하고 4족 보행 Go1 로봇이 조향 명령을 따르며 걷도록 훈련하는 두 가지 과제에 대해 ADD와 수동으로 설계된 보상 함수 간의 정성적 비교를 보여줍니다. 학습된 행동의 예시는 보충 비디오에서 확인할 수 있습니다.

Fig. 5에서 볼 수 있듯이, ADD 정책은 수동으로 설계된 보상 함수로 생성된 것과 비교 가능한 성능의 직립 및 빠른 달리기 행동을 생성합니다. 이 관찰은 Fig. 7의 학습 곡선에 의해 뒷받침되는데, 이 그래프는 두 방법의 보상과 세 가지 다른 훈련 목표를 비교합니다. ADD는 수동으로 설계된 보상과 유사한 최종 성능 및 샘플 효율성을 달성합니다. ADD는 0.691 ± 0.053의 최종 보상을 생성하는 반면, 수동 보상은 0.705 ± 0.051의 최종 보상을 생성합니다. 더욱이, Fig. 7은 ADD가 훈련 실행 전반에 걸쳐 더 나은 일관성을 보여준다는 것을 나타냅니다.

Go1 과제에서, ADD는 Go1 로봇이 더 큰 발 들기와 더 긴 보폭을 특징으로 하는 더 자연스러운 보행 패턴을 개발할 수 있게 합니다. 이에 비해, 수동으로 설계된 보상은 더 많은 지터링과 작고 질질 끄는 걸음을 보이는 덜 자연스러운 행동을 생성합니다. Fig. 8은 ADD와 Rudin/2022/Learning to Walk의 주요 목표를 비교하는데, ADD가 선형 속도 명령을 따르는 데 약간 더 나쁜 성능을 보이지만, 더 낮은 롤 및 피치 각속도를 달성하여 더 안정적인 로봇 기반을 나타냄을 보여줍니다. 또한, ADD는 더 낮은 자유도(DoF) 가속도로 더 부드러운 움직임을 생성하는데, 이는 실제 로봇 배치에 바람직한 속성입니다. 모든 훈련 목표에 대한 포괄적인 학습 곡선 세트는 보충 자료 D.3에서 확인할 수 있습니다.

다양한 과제와 구현체에 걸쳐, ADD는 성능, 모션 품질, 일관성, 샘플 효율성 측면에서 신중하게 설계된 보상 함수의 성능과 일관되게 필적하며, 이 모든 것을 수동 보상 엔지니어링에 대한 의존도를 완화하면서 달성합니다. 수동으로 튜닝된 방법은 잘 보정되었을 때 효과적일 수 있지만, 종종 다른 목표들의 균형을 맞추기 위해 상당한 도메인 지식과 노력을 요구합니다. 이러한 결과들은 종합적으로 다양한 다중 목표 강화학습(RL) 과제를 위한 효과적인 해결책으로서 ADD의 일반성을 강조합니다.

Fig 1: 저희는 물리 시뮬레이션 캐릭터가 매우 민첩하고 운동 능력이 뛰어난 광범위한 기술을 거의 똑같이 모방할 수 있게 하는 적대적 다중 목표 최적화 기법을 제안합니다. 이 기법은 수동 보상 설계가 필요 없습니다. 여기서는 물리 시뮬레이션 캐릭터가 더블 콩(double kong) 참조 동작을 모방하여 장애물 위로 점프하는 법을 학습합니다. 여러 목표를 동시에 최적화해야 하는 다중 목표 최적화 문제는 수많은 응용 분야에서 널리 퍼져 있습니다. 기존의 다중 목표 최적화 방법들은 종종 결합된 최적화 목표를 공식화하기 위해 수동으로 조정된 집계 함수에 의존합니다. 이러한 수동 조정 방법의 성능은 신중한 가중치 선택에 크게 좌우되며, 이는 시간 소모적이고 힘든 과정입니다. 이러한 한계는 물리 시뮬레이션 캐릭터를 위한 강화학습 기반 동작 추적 방법의 환경에서도 발생하는데, 여기서는 높은 충실도의 결과를 얻기 위해 일반적으로 복잡하게 만들어진 보상 함수가 사용됩니다. 이러한 해결책은 도메인 전문 지식과 상당한 수동 튜닝을 필요로 할 뿐만 아니라, 결과적인 보상 함수의 다양한 기술에 대한 적용 가능성을 제한합니다. 이러한 격차를 해소하기 위해, 저희는 동작 추적을 포함한 광범위한 다중 목표 강화학습 과제에 널리 적용할 수 있는 새로운 적대적 다중 목표 최적화 기법을 제시합니다. 저희가 제안하는 적대적 미분 판별기(ADD)는 단일 양성 샘플을 받지만 최적화 과정을 효과적으로 안내합니다. 저희는 이 기법을 통해 캐릭터가 다양한 곡예적이고 민첩한 행동을 거의 똑같이 복제할 수 있으며, 수동으로 설계된 보상 함수에 의존하지 않고도 최신 동작 추적 방법과 비슷한 수준의 품질을 달성할 수 있음을 보여줍니다.

Fig 2: ADD를 사용하여 훈련된 시뮬레이션 휴머노이드 캐릭터가 다양한 기술을 수행하는 스냅샷. ADD는 캐릭터가 다양한 행동 레퍼토리를 복제할 수 있게 하여, 수동 보상 설계 없이도 최신 동작 모방 방법과 비슷한 추적 품질을 달성합니다. (a) 발차기 (b) 펀치

Fig 3: ADD로 훈련된 동작 추적 컨트롤러를 사용하여 시뮬레이션된 EVAL 로봇이 다양한 목표 동작을 복제하는 시각적 스냅샷. 학습된 추적 보상을 사용하여 훈련된 컨트롤러는 로봇이 어려운 기술들을 성공적으로 재현할 수 있게 합니다.

Table 1: AMP, DeepMimic, 그리고 저희 방법인 ADD를 사용하여 훈련된 시뮬레이션 휴머노이드 캐릭터의 동작 추적 성능. 위치(식 12) 및 자유도(DoF) 속도 추적 오차는 무작위 시드로 초기화된 5개 모델에 걸쳐 평균 ± 1 표준편차로 계산되었습니다. 계산 제약으로 인해 LaFAN1 서브셋에 대해서는 1개의 모델만 훈련되었습니다. 각 모델에 대해 오차는 4096개의 테스트 에피소드에 걸쳐 평균을 냈습니다. ADD는 개별 동작 클립과 더 큰 동작 데이터셋을 모방할 때 DeepMimic과 비슷한 추적 성능을 달성하면서도, 수동 보상 설계의 필요성을 완화합니다.

Table 2: ADD, AMP, DeepMimic을 사용하여 훈련된 시뮬레이션 EVAL 로봇의 위치 추적 오차(식 12). 간결성을 위해 위치 추적 오차만 보고하며, 3개의 무작위 시드에 걸쳐 평균 ± 1 표준편차를 보여줍니다. 각 시드당 4096개의 테스트 에피소드가 사용되었습니다. 결과는 ADD가 다른 캐릭터 형태에서도 DeepMimic과 비슷한 강력한 추적 성능을 유지함을 보여줍니다.

Fig 4: 각각 5개의 다른 무작위 시드로 훈련된 AMP, DeepMimic, ADD의 학습 곡선. ADD는 다른 시드에 걸쳐 DeepMimic보다 더 나은 일관성을 보여줍니다. DeepMimic 정책은 백플립(Backflip) 및 카트휠(Cartwheel) 동작을 추적할 때 시드의 절반에서 차선의 행동으로 수렴합니다.

Table 3: 동작 모방과 목표 조향 목표를 결합한 복합 과제에 다양한 방법을 적용했을 때의 성능. 동작 모방 성능은 위치 추적 오차로 측정되며, 과제 성능은 속도 오차 ||v_t - v_t d_t||로 측정됩니다. 여기서 v_t는 캐릭터의 2D 루트 속도이고 v_t d_t는 2D 목표 속도입니다. ADD는 여러 목표를 자동으로 균형을 맞춤으로써 두 목표 모두에서 최적의 성능을 달성했습니다.

Fig 5: 표준 강화학습 벤치마크인 워커(Walker) 과제에 대한 ADD의 정성적 결과. ADD를 사용하여 훈련된 워커는 Tassa 등의 2018년 연구에서 수동으로 설계된 보상 함수로 학습된 것과 비슷한 품질의 행동을 보입니다. (a) ADD (저희 방법) (b) 수동 보상

Fig 6: UniTree Go1 사족보행 로봇이 걷도록 훈련시키는 ADD의 정성적 결과. 화살표는 조향 명령을 나타냅니다. 수동으로 조정된 보상으로 훈련된 컨트롤러와 비교할 때, ADD Go1 정책은 더 큰 발 들기와 더 긴 보폭으로 더 자연스러운 걸음걸이를 보여줍니다.

Fig 7: 2D 워커 과제에서 ADD와 Tassa 등의 2018년 연구에서 제안된 수동 설계 보상 함수를 비교하는 학습 곡선. 보상은 Tassa 등의 2018년 연구의 보상 함수에 따라 계산되었으며, 에피소드당 가능한 최소 및 최대 보상 사이에서 정규화되었습니다. 통계는 10개의 무작위 시드에 걸쳐 계산되었습니다. ADD는 수작업 보상 함수와 비슷한 성능 및 샘플 효율성을 보여주며, 수동 보상 설계나 튜닝이 필요하지 않습니다.

Fig 8: Go1 사족보행 로봇이 움직이도록 훈련시키는 데 있어 ADD와 Rudin 등의 2022년 연구에서 제안된 수동 튜닝 보상 함수를 비교하는 학습 곡선. 결과는 방법당 5개의 무작위 시드에 걸쳐 표시됩니다. ADD는 선형 속도 명령을 따르는 데 있어 약간 더 나쁜 성능을 보이지만, 더 낮은 롤 및 피치 각속도(더 안정적인 로봇 기반을 의미)와 더 낮은 자유도(DoF) 가속도(시간에 따른 더 부드러운 제어를 의미)를 달성합니다.

Fig 9: 다양한 그래디언트 페널티 구성을 사용하여 여러 참조 동작을 추적하도록 훈련된 ADD의 학습 곡선. 저희는 5가지 그래디언트 페널티 구성에 대한 분석을 수행했습니다: 없음(None), 음성 샘플에만 페널티 적용(Neg), 양성 샘플에만 적용(Pos), 두 샘플 유형 모두에 적용(Both), 그리고 Gulrajani 등의 2017년 연구에서 제안된 대로 양성 및 음성 샘플 간의 보간에 적용(WGAN-GP). 결과는 Neg와 Both가 추적 성능에서 다른 설정보다 훨씬 뛰어나며, Neg와 Both는 비슷한 결과를 달성함을 나타냅니다. 이러한 결과는 ADD에 대해 음성 샘플에 그래디언트 페널티를 적용하는 것의 중요성을 강조합니다.