본 논문에서는 MLP(다층 퍼셉트론)로 표현되는 속도장을 위한 운동학적 신경 기저(kinematic neural basis)를 활용하는 메쉬-프리 유체 시뮬레이션을 제안합니다. 우리는 이 신경 기저가 직교성(orthogonality), 발산-없음(divergence-free), 경계 정렬(boundary alignment), 그리고 매끄러움(smoothness)과 같은 근본적인 물리적 속성을 근사하도록 보장하는 손실 함수 세트를 설계합니다. 우리의 신경 기저는 입력된 유동 스케치에 맞춰질 수 있으며, 이 유동은 기저로부터 동일한 근본적인 속성들을 물려받게 됩니다. 그 후 우리는 표준 시간 적분기를 사용하여 이러한 유동을 실시간으로 애니메이션할 수 있습니다. 우리의 신경 기저는 다양한 도메인과 움직이는 경계를 수용할 수 있으며, 자연스럽게 3차원으로 확장됩니다.

희소 데이터(sparse data)로부터 2D 또는 3D 형태를 애니메이션화하는 것은 컴퓨터 그래픽스의 핵심에 있는 복잡한 문제로, Badler와 Morris [1982] (Ref)의 선구적인 연구와 함께 시작되었습니다. 주요 동기는 복잡한 애니메이션과 변형이 스켈레톤(희소 데이터)에 의해 구동되는 캐릭터 애니메이션입니다 Lewis et al. 2000. 일반적인 문제는 상호작용적인 애니메이션과 형태 변형을 가능하게 하는 희소 표현(또는 기저)을 계산하는 것으로 추상화될 수 있습니다. 주요 과제는 생성된 모든 변형이 물리적으로 사실적으로 보이도록 보장하는 것이며, 이는 기저를 신중하게 설계함으로써 강제될 수 있습니다. 캐릭터 애니메이션에 머신러닝이 등장하면서, 노력은 기저를 만드는 것에서 그러한 기저를 위한 네트워크를 설계하는 것으로 옮겨갔습니다 Bertiche et al. 2021; Kavan et al. 2024; Li et al. 2021.

이와 병행하여, 머신러닝은 복잡하고 비용이 많이 드는 정확한 물리 시뮬레이션을 저렴한 네트워크로 대체할 수 있게 했는데 Du 2023, 특히 유체 시뮬레이션(섹션 2)에서 그러했습니다. 그러나 이러한 방법들은 물리 시뮬레이션과 동일한 "문제점"을 공유합니다: 입력은 시스템의 상태(초기 및 경계 조건)이고, 출력은 애니메이션이라는 점입니다. 이러한 설정은 애니메이션 파이프라인에 존재하는 세밀한 제어가 부족하고 희소 데이터로부터 제어할 수 있는 능력도 부족합니다.

저희는 애니메이터가 2차원 및 3차원에서 빠르고 상호작용적으로 유체 애니메이션을 디자인하고 구축할 수 있게 해주는 새로운 신경 운동학 기저(neural kinematic basis)를 제안합니다. 저희의 아이디어는 전통적인 애니메이션 파이프라인의 상호작용성과 용이성을 차용하고, 이를 물리 시뮬레이션에 사용되는 신경망 표현의 강력함과 결합하는 것입니다. 스켈레톤 애니메이션과 유사하게, 저희는 유체의 복잡한 동역학을 인코딩하는 기저를 설계하는 것을 목표로 합니다. 저희는 MLP로 신경망 기저를 표현하며, 이를 비압축성, 부드러움, 경계 정렬, 직교성과 같은 기본적인 물리적 속성만을 사용하여 순수하게 훈련합니다. 따라서 저희는 어떠한 정답 데이터(ground truth)도 필요하지 않습니다. 저희의 훈련 데이터는 적으며, 단지 신경망 기저가 새로운, 보지 못한 도메인으로 일반화할 수 있도록 하는 데만 사용됩니다. 저희는 MLP 네트워크가 근본적인 법칙을 인코딩하도록 강제하기 때문에, 저희 기저로부터 생성된 모든 애니메이션은 동일한 속성을 상속받게 됩니다. 초기 흐름을 피팅하고 나면, 표준 적분 기법을 사용하여 그럴듯한 유체 애니메이션을 만들 수 있습니다 (그림 1).

유체 역학의 차수 축소 모델은 Lumley/1967으로 거슬러 올라갑니다. 컴퓨터 그래픽스에서는 주성분 분석(PCA)을 사용하는 유사한 개념이 Pentland and Williams/1989에 의해 고체 변형의 자유도를 줄이는 방법으로 소개되었습니다. 이 기초적인 아이디어는 변형 가능 모델을 확장하는 광범위한 후속 연구를 촉발했습니다. 예를 들어, Barbič and James/2005는 질량 스케일링된 PCA를 활용하여 저차원 기저를 생성하는 축소 좌표 비선형 변형 모델을 위한 빠른 부공간 통합 방법을 제안했습니다. 그들은 모델 축소를 통해 내부 힘을 3차 다항식으로 미리 계산할 수 있어, 기하학적 구조와 무관한 비용으로 효율적인 시뮬레이션이 가능함을 보여주었습니다. PCA를 기반으로, Treuille et al./2006은 이 접근법을 유체 역학으로 확장하여, 전체 차원 시뮬레이션의 속도장에 PCA를 적용하여 축소된 차원의 속도 기저를 구축했습니다.

PCA 기반 방법의 계산적 어려움을 해결하기 위해, An et al./2008은 특정 부공간 변형과 관련된 힘 밀도의 효율적인 적분을 위해 최적화된 구적법(cubature schemes)을 도입했습니다. 유사하게, Kim and James/2009는 온라인 증분식 차수 축소 비선형 모델을 개발했습니다. 이후, Kim and Delaney/2013은 구적법을 확장하여 유체 부공간 내에서 일관된 준-라그랑지안 이류(semi-Lagrangian advection)를 효율적으로 수행하게 함으로써, 수정된 매개변수로 유체 시스템을 재시뮬레이션할 수 있게 했습니다. 이와 비교하여, 본 연구는 희소 통합 기법과 준-라그랑지안 이류를 사용합니다.

Von Tycowicz et al./2013은 축소된 힘을 근사하여 축소 동역학 시스템의 구축을 가속화했고, Umetani and Bickel/2018은 3D 장애물 주변의 유체 거동을 빠르게 예측하기 위해 데이터 기반 접근법을 사용합니다. 본 연구 또한 평활화된 경계 표시자와 도메인 마스크를 사용하여 근사를 통합합니다. 추가적으로, De Witt et al./2012는 유체를 벡터 라플라시안의 고유함수들의 선형 결합으로 표현하고, 나비에-스토크스 방정식의 갈료킨 이산화를 통해 시간 적분을 수행했습니다. 이 방법은 경계 유속에 해당하는 속도 성분을 투영하여 잠긴 강체를 지원했지만, Cui et al./2018은 이 접근법을 확장하여 디리클레 및 노이만 경계 조건을 처리했습니다. 그들은 Jones et al./2016의 연구를 따라 사인 및 코사인 변환을 활용하여 고유함수에 대한 저장 공간 요구량을 줄임으로써 확장성을 더욱 향상시켰습니다. 라플라시안 고유함수 방법에서 영감을 받아, Mercier and Nowrouzezahrai/2020와 Wicke et al./2009는 규칙적인 타일 위에서 축소된 기저 함수를 개발하고, 인접한 타일 간의 일관성 제약을 강제했습니다. 우리의 접근법은 기저 함수 관점을 채택하지만, 고유함수 대신 신경망 표현을 사용합니다. 단일 직사각형 도메인에서만 기저를 생성하고 명시적인 후처리 단계를 통해 장애물 경계를 처리하는 Cui et al./2018의 연구와 비교할 때, 우리의 신경망은 임의의 도메인에 걸쳐 일반화되도록 훈련되며 시뮬레이션 중에 기저를 즉석에서 평가합니다. Cui et al./2018의 연구는 도메인당 최소 5.5시간의 사전 계산이 필요하지만, 우리 모델은 일회성 비용으로 훈련된 후, 도메인별 사전 계산 없이 무제한 시뮬레이션을 지원합니다. 기저 생성 중에 장애물과 직사각형 경계를 모두 일관되게 처리함으로써, 우리 방법은 자연스럽게 미끄럼 방지(no-slip) 경계 조건을 만족시킵니다 (보충 자료 참조).

Yang et al./2015는 모달 행렬 구성, 구적법 훈련, 데이터셋 생성을 전통적인 접근법의 주요 병목 현상으로 지적했습니다. 대조적으로, 우리 방법은 유체 시뮬레이션에서 기하학적 불변량을 보존하도록 기저 함수를 훈련시킵니다. 유사하게, Xu and Barbič/2016은 서로 다른 객체 포즈에 대해 별도의 축소 모델을 미리 계산하고, 런타임에 이를 통합된 동적 시스템으로 결합했습니다. 우리는 복잡한 비선형 공간을 다루기 위해 지역적 기하학적 불변량을 활용하여 이 아이디어를 기반으로 합니다.

Romero et al./2021은 내부 및 외부 접촉 기반 효과를 분리하기 위해 선형 핸들 기반 부공간 공식을 비선형, 학습 기반 보정으로 보강했습니다. 본 연구에서는 문맥 정보에 신경 기저 함수를 조건화하여 접촉 처리를 달성합니다. 마찬가지로, Aigerman et al./2022는 불연속성을 처리하기 위해 평활화 기법을 통합하여 임의 메시의 조각별 선형 매핑을 예측하는 데 신경망을 사용했습니다. 우리는 이러한 문제를 해결하기 위해 유사한 경사도-평활화 전략을 채택합니다. 신경망 훈련을 위해 비지도 학습을 사용하는 차수 축소 시뮬레이션 방법을 제시한 Sharp et al./2023과 유사하게, 우리는 Karniadakis et al./2021에서 영감을 받아 물리 정보 기반 손실 함수 세트를 설계하여 우리 신경망의 비지도 훈련을 가능하게 합니다.

오일러 유체 구성 영역에서, Wu et al./2023은 잠재 공간 임베딩을 학습하고 잠재 변수의 사인 및 코사인에 기반한 선형 시간 통합 연산자를 적용했습니다. 더 나아가, Chen et al./2023b와 Chang et al./2023은 변위장을 암시적 신경장(implicit neural fields)으로 인코딩된 연속적인 맵으로 표현하는 이산화에 독립적인 차수 축소 모델링을 도입했습니다. 이러한 아이디어를 확장하여, Chen et al./2023a는 물질점법(material point method)에 신경장을 적용했고, Tao et al./2024는 유체-유체 상호작용을 포착하기 위해 비선형 잠재 임베딩을 사용하는 신경 암시적 축소 유체 시뮬레이션을 제안했습니다.

본 연구는 학습된 기저 함수를 표현하기 위해 신경장 패러다임을 따르며, 이를 통해 기하학적 및 물리적 불변량을 보존하면서 견고하고 효율적인 차수 축소 유체 시뮬레이션을 가능하게 합니다.

우리 접근 방식의 핵심 아이디어는 유체 흐름 문제에서 흔히 나타나는 불변량을 따르는 비선형 신경 기저 함수(그림 2) 집합을 설계하는 것입니다. 우리의 신경 기저 $\phi_i$는 벡터 필드라는 점을 주목하세요. 이는 형상 함수가 스칼라 함수이고 미지 계수가 절점(nodal points)에 위치하는 벡터인 유한 요소 접근법과는 약간 다릅니다. 단위 크기의 둥근 사각형 도메인 $\Omega$에 $m$개의 잠재적으로 겹치는 원형 구멍이 있다고 가정합시다(그림 2). 이 도메인 위에서, 우리는 다음의 공통 불변량들을 만족하는 $b$개의 신경 기저 함수 $\phi_k, k=1...b$를 정의합니다.

발산(Divergence). 결정적으로, 비압축성 유체 시뮬레이션(비점성 등)을 위해, 우리의 기저가 발산이 없는(divergence-free) 속도장을 재구성할 수 있어야 합니다:

div($\phi_k$) = 0, $\forall k=1...b$.

경계(Boundary). 유체가 도메인 내에 머무르도록 보장하기 위해, 우리는 신경 기저가 슬립(slip) 경계 조건을 만족하도록 제한합니다.

$\langle n, \phi_k \rangle = 0$, $\forall k=1...b$,

여기서 $n$은 경계에서의 법선 벡터입니다.

직교정규성(Orthonormality). 기저들은 선형적으로 독립이어야 하며, 추가적으로 서로 직교해야 합니다.

$\int_\Omega \langle \phi_k, \phi_l \rangle = \delta_{k,l}$, $\forall k,l=1...b$.

이 기저들을 사용하여, 우리는 어떤 속도장이라도 다음과 같이 근사할 수 있습니다.

이는 명백히 위의 불변량들을 만족시키며, 표준적인 준-내재적 시간 적분기로 적분할 수 있는 그럴듯한 유체 시뮬레이션으로 이어집니다. 여기서 $\alpha_i$는 시뮬레이션 중에 풀어야 할 미지 계수입니다. 이들의 역할은 고유 모드(eigenmodes)의 가중치나 유한 요소법의 계수와 유사할 것입니다. 전통적인 유한 요소 기저와는 다르게, 속도 $v$는 $\alpha_i$의 선택과 독립적으로 공통 불변량을 만족할 것입니다. 우리의 $\alpha_i$는 공간상의 절점 위치에 존재하지 않고 추상적인 전역 설정에 존재합니다. 우리의 선택은 자유도를 공격적으로 줄입니다.

우리의 목표는 도메인(원으로 인코딩)과 평가 지점 모두에 의존하는 신경 기저 함수 $\phi_i$ 집합을 학습하여, (1)을 유체 시뮬레이션을 위한 운동학적 신경 기저로 사용하는 것입니다. 이렇게 함으로써, 우리는 주어진 도메인에 대해 특정 기저를 빠르게 평가할 수 있고(추론 시간에 평가가 이루어지므로), 따라서 실시간으로 유체 애니메이션을 생성할 수 있습니다. 우리의 설계 파이프라인(그림 3)은 도메인 $\Omega$의 입력 스케치와 흐름을 안내하는 곡선들로 시작하며, 이를 우리의 신경 기저에 피팅합니다(섹션 3.4). 신경 기저를 얻기 위해, 우리는 평균적으로 유체 불변량을 근사하는 기저를 생성하는 손실 함수 집합을 정의하고(섹션 3.2), 이를 다른 도메인에서 (비지도 방식으로) 훈련합니다(섹션 3.3). 마지막으로, 초기 유체를 이류시켜(섹션 3.5) 유체 애니메이션을 생성합니다.

우리는 반지름이 0.2인 둥근 모서리를 가진 단위 정사각형과 장애물 블롭으로 도메인을 인코딩합니다. 표현을 단순하게 유지하기 위해, 우리는 10개의 음함수 원(3D에서는 구)을 사용합니다.

여기서 $p$는 평면(또는 공간) 상의 한 점이고, $c_i$는 원의 중심이며, $r_i$는 반지름입니다. 우리는 Blinn/1982/Blobs의 메타볼 또는 블롭에서 영감을 받아 이들을 결합하여 다음과 같은 음함수를 생성합니다.

여기서 $k$는 부드러움을 제어합니다(우리의 결과에서는 항상 $k=30$을 사용합니다).

우리는 도메인과 독립적으로 평면을 샘플링하기 때문에, 도메인 밖의 점들을 걸러내기 위해 소프트 마스크를 적용합니다. 먼저 경계 표시 함수를 정의합니다 (그림 4, 왼쪽).

그런 다음, 도메인 밖의 모든 $w_b$ 값을 0으로 설정하고 도메인 안의 값들을 1로 설정하여 마스크 $w$를 정의합니다 (그림 4, 오른쪽). 이 함수는 도메인 내부에서는 1이고, 경계에서 $\epsilon$보다 멀리 떨어진 모든 점에서 0으로 떨어집니다. 이 함수는 도메인 외부의 작은 영역에서 0이 아닌 값을 가지므로, 우리는 $[-\epsilon, 1 + \epsilon]^2$ 도메인에서 적분을 근사합니다. 손실 함수가 점의 개수와 위치에 독립적이도록 보장하기 위해, 우리는 다음과 같이 정규화합니다.

우리는 운동학적 신경 기저의 물리적 적합성을 측정하는 손실 함수 집합을 정의하는 것으로 진행하겠습니다. 우리의 기저 신경장 $\phi_i$는 $n$개의 무작위로 샘플링된 점 $p_i$ 모음에 대해 이러한 손실들을 종합하여 최소화함으로써 계산될 것입니다. 이 샘플링은 몬테카를로 적분을 사용하는 것으로 볼 수 있습니다. 우리 접근법의 주요 장점은 발산 없음(divergence-free)이나 미끄러짐 경계 조건(slip boundary conditions)과 같은 근본적인 물리적 속성에만 순수하게 의존하며, 어떠한 정답 데이터도 필요로 하지 않는다는 것입니다. 우리는 단지 기저 함수들이 도메인에 대해 일반화되기를 요구할 뿐입니다.

우리의 MLP 네트워크 $F$의 입력은 평가점 $p \in R^2$와 $m$개 원의 중심 $c$ 및 반지름 $r$입니다. 이는 $b$개의 기저 함수 집합 $\phi_k(p)$를 생성합니다. 즉,

$F(p, \rho, \theta) = \{\phi_k(p)\}_{k=1,...,b}$,

여기서 $\rho = \{c_i, r_i\}_{i=1}^m$는 원의 집합, $\theta$는 MLP 파라미터, 그리고 $\phi_k(p)$는 $p$에서 평가된 우리의 신경 기저입니다.

이제 발산 불변성을 평균으로 인코딩할 수 있으며, 손실은 다음과 같습니다.

흥미롭게도, 우리는 개별 $\phi_i$가 발산이 없을 것을 요구하지는 않지만, (예를 들어 다른 경계 조건 하에서) 발산 없는 장을 생성할 수 있는 표현력 있는 기저를 원합니다.

다음으로, 평균 미끄러짐 경계 조건에 대한 손실을 공식화합니다.

여기서

$$\text{cossim}(a,b) = \frac{\langle a,b \rangle}{\|a\|\|b\|}$$

는 코사인 유사도이며, $n(p_i)$는 도메인 경계 위의 가장 가까운 점에서의 법선 벡터입니다. 이것은 (다른 가중 함수를 가진) 경계 적분의 이산화이므로, 이 손실을 $S_b = b \sum_i w_p(p_i)$로 정규화합니다.

마지막으로, 모든 기저가 동일해지는 것을 방지하기 위해, 평균 직교성을 강제합니다.

기저의 수로 정규화하는 대신, 점 $p$의 쌍의 수로 정규화합니다 ($S_o = Wp$). 세 번째 합이 $k+1$에서 시작하므로 이 손실은 기저가 단위 길이 $\langle\phi_k(p_i), \phi_k(p_i)\rangle = 1$을 가질 것을 요구하지 않는다는 점에 주목합니다. 대신, 우리는 벡터의 길이가 목표값 $c$에 가깝도록 요구함으로써 벡터의 평균 길이를 명시적으로 요구합니다.

그리고 작은 기저에 페널티를 부과합니다.

마지막으로, 학습 과정을 용이하게 하기 위해, 기저의 부드러움을 장려하는 손실을 추가합니다.

여기서 $J\phi_k(p_i)$는 야코비 행렬입니다.

우리는 앞서 언급한 6개의 손실을 각각의 가중치와 함께 합하여 유체 손실 L_fluid를 공식화합니다.

우리는 10개의 원으로 표현되는 도메인에서 학습을 진행합니다. 우리의 신경장(neural fields)은 8개의 완전 연결 계층을 가진 MLP로 매개변수화되며, 이 MLP는 (음수를 생성하기 위해 마지막 계층에서는 ELU를 사용하는 것을 제외하고) leaky ReLU 활성화 함수를 사용하고 계층당 256개의 채널을 가집니다 (그림 5). 입력 벡터는 하나의 샘플 포인트 $p_i$의 위치와 10개의 원 매개변수를 연결한 것입니다. 출력 벡터는 $b$개의 신경 기저(neural bases) 평가를 위한 벡터로 구성됩니다. 우리는 유체 손실 함수의 각 항에 다음과 같은 가중치를 할당합니다: ($w_{drch}$, $w_{div}$, $w_{orth}$, $w_{bc}$, $w_{len}$, $w_{small}$) = (0.01, 5, 100, 30, 100, 100). 우리는 작은 기저 패널티를 위한 임계값 $\delta$를 0.05로, 길이 패널티를 위한 평균 길이는 $c=0.37$로 선택합니다.

MLP는 매개변수에 대해 Kaiming 초기화를 사용합니다. 우리는 MLP를 Adam 옵티마이저를 사용하여 학습시키며, 학습률은 0.0005로 초기화합니다. 학습률을 동적으로 조정하기 위해, 우리는 ExponentialLR 스케줄러를 사용했으며, 0.96의 감쇠 계수를 적용하여 에포크당 학습률이 $LR \times 0.96^t$로 조정되도록 했습니다. 여기서 $t$는 에포크입니다.

우리는 1000개의 다른 기하학적 샘플에 대해 학습을 진행합니다. 이 샘플들은 중심이 $[0.225, 0.675]^d$ 정사각형 또는 정육면체 내에 있고 반지름이 $[0.03, 0.09]$ 구간에 있는 무작위로 생성된 2D 원과 3D 구, 두세 개의 구성 요소로 무작위 생성된 모양, 그리고 2D에서는 영어 알파벳 글자를 나타내는 모양을 포함합니다. 이들은 (부분적으로) 겹치거나 분리될 수 있습니다. 각 샘플에 대해, 우리는 도메인 전체에 걸쳐 $n=10^6$개의 점을 무작위로 샘플링합니다. 학습은 총 10 에포크 동안 배치 크기 $10^4$으로 수행되었습니다. 구현은 PyTorch를 기반으로 하며, 단일 NVIDIA GeForce RTX 3090 GPU에서 3D 모델의 경우 23.6시간, 2D 모델의 경우 22.9시간의 학습 시간이 소요되었습니다.

이제 우리는 신경 기저를 사용하여 입력 이미지를 애니메이션화하고자 합니다. 이 이미지는 원의 위치와 매개변수 곡선 $\gamma(t)$로 표현되는 여러 유선을 포함합니다. 먼저 원과 몇 개의 곡선을 그리면, 이것만으로도 빠르게 속도장을 생성합니다. 추가적인 곡선을 더함으로써, 예를 들어 와류를 추가하거나 흐름 방향을 바꾸는 등 상호작용적으로 유동을 정교하게 다듬을 수 있습니다. 그림 6은 상호작용적인 스케치가 초기 유동을 어떻게 제어하는지 보여줍니다.

우리의 기저는 다양한 곡선에 부드럽게 맞춰질 수 있습니다. 예를 들어, 단순한 원형 흐름에 맞춰지거나, 많은 와류를 생성하고 흐름의 방향이나 강도를 제어할 수 있습니다.

입력 유동을 생성하기 위해, 우리는 각 곡선 $\gamma$를 매개변수 공간에서 균일하게 분포된 $c_i$ 지점에서 샘플링하고, $c_i$에서의 정규화된 접선 벡터를 목표 속도 $t_i = \nabla\gamma(c_i)/\|\nabla\gamma(c_i)\|$로 계산합니다. 이 점들과 속도들의 집합을 사용하여 초기 매개변수 $\alpha$ 집합을 최소제곱법으로 맞춥니다.

그런 다음 $\alpha_0$를 사용하여 초기 속도 $v_0$를 계산하고, 이를 Stam/1999/Stable Fluids, Stam/2023/Real-Time Fluids의 준-내재적 적분기를 사용하여 이류시킵니다. 모든 시간 단계 $t$에 대해, 모든 점에 대해 원점 위치 $p_o = p - v_t(p)dt$를 계산합니다. 여기서 $dt$는 시간 단계이며, 만약 $p_o$가 도메인 밖에 위치하면 가장 가까운 점으로 투영합니다. 적분 방식에 따라, 새로운 속도는 원점 위치에서의 속도로부터 복사됩니다: $\bar{v}_{t+1}(p) = \sum_{k=1}^{b} \phi_k(p_o)\alpha^t_k$.

이 새로운 속도는 우리의 기저 함수로 표현되지 않을 수 있습니다; 따라서 우리는 새로운 $\alpha$를 $\bar{v}_{t+1}(p)$를 우리의 기저 함수에 최소 제곱 피팅하여 계산합니다.

그리고 이를 사용하여 $v_{t+1} = \sum_{k=1}^{b} \phi_k(p_i)\alpha^{t+1}_k$를 계산합니다.

움직이는 도메인. 우리의 신경망 기저 함수는 임의의 도메인에서 평가될 수 있으므로, 움직이는 경계를 가진 유체 흐름을 자연스럽게 포착할 수 있습니다. 시간 적분기에서, 새로운 속도를 계산한 후, 우리는 $\bar{v}_{t+1}(p)$를 동일한 기저 함수(수식 8)에 투영하는 대신, 다른 도메인에 정의된 새로운 기저 함수 세트에 투영합니다.

우리는 동일한 기저 (8)에 $\bar{v}_{t+1}(p)$를 투영하는 대신, 다른 도메인에 정의된 새로운 기저 집합에 투영합니다.

우리는 우리의 신경 기저가 어떻게 다른 도메인으로 일반화되는지(섹션 4.1), 훈련 과정에서 다양한 손실 함수가 어떻게 수렴하는지(섹션 4.2), 그리고 다양한 손실 함수가 기저의 동작에 어떻게 기여하는지(섹션 4.3)를 보여줄 것입니다. 마지막으로, 우리의 운동학적 신경 기저를 피팅하고 이를 준-내재적 통합자(semi-implicit integrator)와 통합하여 2차원 및 3차원 애니메이션을 제시합니다(섹션 4.4).

우리는 훈련 중 사용되지 않은 100개의 무작위 원/구로 구성된 테스트 데이터셋에 대해 우리의 신경망 기저 함수를 평가합니다. 이 원/구의 중심과 반지름은 훈련 데이터와 동일한 분포에서 샘플링되었습니다 (그림 7의 주황색 점선은 훈련 중 다양한 손실 값의 변화를 보여줍니다).

훈련이 끝날 무렵, 우리의 신경망 기저 함수는 비슷한 손실 값을 보입니다: 길이 손실과 직교성 손실은 거의 동일하며, 경계 손실은 약 20% 정도만 더 큽니다.

기저들은 비슷한 손실 값을 가집니다: 길이 손실과 직교성은 거의 동일하며, 경계 손실은 약 20% 정도 더 큽니다.

전반적으로, 우리의 유체 손실은 훈련 과정 동안 꾸준히 감소했습니다.

2D와 3D에서, 초기 몇 에포크 이후 small 손실과 직교성 손실은 정체 상태가 되는데, 이는 기저들이 개별적으로 0이 아니며 서로 다르다는 것을 나타냅니다 (그림 7).

2D에서는 기저들이 목표 길이에 빠르게 도달하는 반면, 3D에서는 전체 훈련 과정에 걸쳐 천천히 수렴합니다.

2D에서 이후 에포크들이 그 값을 바꾸지 않는다는 점은 흥미로운데, 이는 훈련이 주로 벡터들을 회전시킨다는 것을 나타냅니다.

발산 손실과 경계 손실은 정체 값에 도달하기까지 더 많은 에포크(10-15)를 필요로 하는데, 이는 이 손실들이 도메인의 모양에 의해 영향을 받는 유일한 것들이기 때문입니다 (그림 7).

예상대로, 평활도 손실은 기저들이 커짐에 따라 초기에 증가한다는 점에 주목합니다.

우리 기저의 타당성을 평가하기 위해, 우리는 훈련(파란색) 및 테스트(빨간색) 세트에서 발산과 경계 정렬의 분포를 측정합니다 (그림 8).

발산은 두 세트 모두에서 일관되게 작지만(0은 아니며 평균 0.5), 경계 분포는 테스트 세트에서 약간 더 큽니다.

우리는 우리 파이프라인의 세 가지 주요 기능의 중요성을 보여줍니다 (그림 9).

Smoothness loss. 이것은 근본적인 물리 법칙에 의해 동기 부여되지 않은 유일한 손실입니다. 우리는 MLP가 (우리의 기저 함수가 반드시 그래야 하는) 부드러운 해를 향하도록 편향시키기 위해 이를 포함시켰습니다. 이를 추가하면 훈련 과정의 신뢰성이 향상됩니다. 실험에서 이것이 없으면 비합리적인 기저 함수를 더 자주 얻었습니다. 그림 9의 두 번째 행 마지막 그림은 smoothness loss 없이는 MLP가 유효한 기저를 생성하지 못한다는 것을 보여줍니다.

Rounded Corners. 우리는 부드러운 해를 생성할 수 있도록 도메인의 모서리를 부드럽게 처리하기로 결정했습니다. 이것이 없으면 훈련이 (불연속성이 있어야 하는) 모서리 주변에서 전환하는 데 실패하고 유동을 도메인 밖으로 밀어내는 기저 함수를 생성합니다.

Number of Samples. 우리는 각 입력 형태에 대해 $10^6$개의 포인트를 샘플링하는데, 이는 물리 기반 비지도 손실이 수렴을 보장하기 위해 충분한 수의 샘플을 요구하기 때문입니다. 샘플 수를 줄이면 종종 수렴이 잘 되지 않고, 모델이 물리적 제약을 위반하며 사소한 기저 함수를 생성하게 됩니다.

우리는 모든 실험을 GeForce RTX 3090에서 실행합니다. 초기 유체를 생성하는 것은 상호작용이 가능하며, 시뮬레이션은 25만 개의 포인트에 대해 초당 40 프레임으로 실행됩니다. 유동을 시각화하기 위해, 우리는 속도장의 크기를 사용하여 물의 변위를 렌더링하고, 입자들이 유동을 따라 움직일 때의 궤적을 보여줍니다. 모든 애니메이션 비디오는 추가 자료를 참조하시기 바랍니다.

모든 실험은 GeForce RTX 3090에서 실행했습니다. 초기 유체를 생성하는 과정은 상호작용적이며, 시뮬레이션은 25만 개의 포인트에 대해 초당 40 프레임으로 실행됩니다. 흐름을 시각화하기 위해, 속도장의 크기를 사용하여 물의 변위를 렌더링하고 흐름을 따라 움직이는 입자 궤적을 보여줍니다. 모든 애니메이션 영상은 추가 자료를 참조하시기 바랍니다.

2차원 편집. 그림 10은 입력 스케치가 어떻게 사실적인 유체 시뮬레이션으로 이어지는지 보여줍니다. 입력 흐름이 잔잔하다면, 시뮬레이션은 차분한 정상 상태 속도로 수렴합니다. 더 많은 와류로 시작하면, 흐름은 나중 프레임에서도 난류 상태를 유지합니다.

움직이는 경계. 우리 방법은 단일 구성 요소 및 분리된 구성 요소의 평행 이동과 회전, 심지어 도메인 위상의 변화를 포함하는 다양한 예시에서 보여주듯이, 움직이는 경계를 자연스럽게 수용합니다. 이러한 애니메이션들은 그러한 동역학으로 인해 얼마나 흥미로운 유체 거동이 나타나는지를 보여줍니다. 우리 방법의 움직이는 경계를 처리하는 능력은 게임 엔진에 통합하기에 매우 적합합니다. 이 방법은 캐릭터가 물과 상호작용할 때(예: 걷거나 물속을 헤쳐 나갈 때) 물리적으로 사실적인 유체 흐름을 실시간으로 생성하여 사용자 경험을 풍부하게 할 수 있습니다.

고정된 바위 주위를 오리가 움직이는 그림 1 하단은, 우리의 시간에 따라 변하는 기저 함수(그림 11 상단)를 사용하여 여러 개의 분리된 구성 요소를 가진 움직이는 경계의 예를 보여줍니다. 다른 각도에서(그림 11 하단) 우리는 오리가 다른 모서리로 밀고 들어감에 따라 기존의 와류가 압축되고 결국 소멸되는 것을 보여줍니다.

먼저 다른 속도로 회전하는 팬의 효과를 설명합니다(그림 12). 팬이 빠르게 회전할 때, 입자들은 날개 영역에서 밀려나 효과적으로 진입이 방지됩니다. 반대로, 더 느린 회전에서는 입자들이 날개 근처에 접근하여 순환할 수 있습니다.

그림 13은 그리퍼가 열리고 닫히면서 도메인의 지너스(genus)를 변경하는 것을 보여줍니다. 닫히는 동작 동안에는 내향 및 외향 흐름이 모두 나타나며, 일부 입자는 그리퍼 안으로 운반되고 다른 입자는 밖으로 밀려납니다. 그리퍼가 완전히 닫히면, 흐름은 그 주위를 순환하며 루프를 형성하고 그리퍼 내부의 입자들은 갇히게 됩니다. 그리퍼가 다시 열리면, 흐름 패턴이 반전되어 갇혔던 입자들이 방출되고 주변 흐름에 의해 새로운 입자들이 유입됩니다.

3차원. 우리의 모든 방법은 3차원으로 일반화될 수 있습니다. 이제 도메인은 10개의 구와 그 반지름(30개 대신 40개의 매개변수)으로 표현됩니다; MLP 네트워크는 3D 포인트를 입력받아 부피 벡터 필드를 생성합니다(그림 1 상단은 팬에 대한 일부 기저 함수를 보여줍니다). 그림 1 중간은 흐름이 날개 주위를 움직이는 움직이는 3D 팬의 애니메이션을 보여주고, 그림 14는 정적 경계를 가진 애니메이션을 보여줍니다. 두 그림 모두 속도장에 의해 이류(advected)되는 구형 소스(다른 색상)로부터의 입자 궤적을 보여줍니다.

본 논문에서는 MLP로 표현되는 새로운 신경 운동학 기저(neural kinematic base)를 소개합니다. 이 기저는 근본적인 물리적 특성을 포착하고 다양한 도메인으로 일반화됩니다. 우리는 이 기저와 표준 이류 적분기를 사용하여 움직이는 장애물이 있는 2차원 및 3차원 애니메이션을 생성할 수 있음을 보여줍니다.

합리적인 학습 시간을 유지하기 위해, 우리는 단 10개의 기저만을 사용하기로 결정했지만, 저희 방법은 더 많은 기저를 생성할 수 있어야 합니다. 추가적으로, 도메인을 캡슐의 집합으로 표현하여 더 상세한 도메인 기하학을 허용할 수도 있습니다.

저희 방법은 디리클레(Dirichlet) 경계 조건을 강제하여 기저를 도메인 경계에 정렬시킵니다. 이를 노이만(Neumann) 조건과 같은 다른 유형을 지원하도록 확장하려면 경계 제약 조건을 지정하고 혼합하기 위한 추가적인 메커니즘이 필요할 것입니다. 저희 기저는 본질적으로 매끄러워서 매끄러운 유체 애니메이션과 경계 기하학을 생성하지만, 매끄럽지 않은 경계에는 적용 가능성이 제한됩니다. 더욱이, 디리클레 조건은 장애물에 수직인 속도를 지정하는 것을 막기 때문에, 장애물이 유체를 능동적으로 밀어낼 수 없어 준정적(quasi-static) 거동을 초래합니다. 우리는 이러한 현상들이 흥미롭다고 생각하며, 이에 대한 연구를 향후 과제로 남겨둡니다.

마지막으로, 저희 기저는 MLP로 인코딩되므로 완전하게 미분 가능합니다. 예를 들어, 역설계(Inverse design)는 향후 연구를 위한 흥미로운 길이 될 수 있습니다. 예를 들어, 주어진 애니메이션과 일치하도록 원의 위치를 최적화하는 것을 포함할 수 있습니다.

컴퓨터 애니메이션에 관한 Bellairs 워크숍은 본 논문에 제시된 연구의 구상에 중요한 역할을 했습니다. 이 연구는 NSERC 보조금 DGECR-2021-00461, RG-PIN 2021-03707, RGPIN-2024-04523, RGPIN-2024-04605, FRQNT 365040 및 Adobe Research의 기부금에 의해 부분적으로 지원되었습니다. 또한 이 연구는 캐나다 디지털 연구 연합(Digital Research Alliance of Canada)의 자원, 서비스 및 직원 전문성을 통해 부분적으로 지원받았습니다.

Fig 1: 우리는 신경 기저 운동학(상단)을 사용하여 변화하는 도메인에 피팅하고, 이를 표준 반-암시적 이류(중간)를 통해 실시간으로 시뮬레이션합니다. 동일한 구조가 2차원에도 적용되어 유체를 실시간으로 시뮬레이션할 수 있습니다(하단). 우리는 메시 없는 유체 시뮬레이션을 제안하며, 이는 MLP로 표현되는 속도장을 위한 운동학적 신경 기저를 활용합니다. 우리는 이러한 신경 기저가 직교성, 발산 없음, 경계 정렬, 평활성과 같은 기본적인 물리적 속성을 근사하도록 보장하는 손실 함수 세트를 설계합니다. 우리의 신경 기저는 입력된 흐름 스케치에 피팅될 수 있으며, 이 흐름은 기저로부터 동일한 기본 속성을 상속받습니다. 그런 다음 표준 시간 적분기를 사용하여 이러한 흐름을 실시간으로 애니메이션화할 수 있습니다. 우리의 신경 기저는 다양한 도메인, 움직이는 경계를 수용할 수 있으며 자연스럽게 3차원으로 확장됩니다.

Fig 2: 우리의 MLP 네트워크에 의해 생성된 신경 기저 함수의 예시입니다. 이 함수들이 경계와 평행하고, 0이 아니며, 부드럽다는 것을 명확히 볼 수 있습니다.

Fig 3: 우리 방법의 파이프라인 개요입니다. 스케치와 유체 기저를 생성하는 사전 훈련된 MLP로 시작합니다. 이 기저를 입력 스케치에 피팅한 다음, 이를 이류시켜 애니메이션을 생성합니다.

Fig 4: 경계 표시 함수 𝑤𝑏(왼쪽)와 도메인 마스크 𝑤(오른쪽)입니다.

Fig 5: 우리의 MLP 아키텍처 개요입니다. 입력으로 한 점 𝑝와 원들의 매개변수 집합 𝜌를 받아 우리의 신경 기저 𝜑𝑖 (𝑖= 1, . . . ,𝑏)를 생성합니다.

Fig 6: 유체 흐름을 디자인하기 위해 가능한 다양한 상호작용의 예시입니다. 초기 디자인부터 여러 종류의 편집 과정을 보여줍니다.

Fig 7: 훈련 세트(파란색)와 테스트 세트(주황색)에 걸쳐 에포크 수에 따른 손실의 수렴 과정입니다.

Fig 8: 훈련 세트(파란색)와 테스트 세트(빨간색)에 대한 발산 손실과 경계 손실의 밀도 플롯입니다. 𝑥축은 손실 값을, 𝑦축은 확률 밀도를 나타냅니다.

Fig 9: 우리 파이프라인의 다른 부분들을 생략하여 생성된 기저들입니다. 각 생략은 다른 아티팩트를 초래합니다.

Fig 10: 다양한 입력 스케치에 대한 여러 유체 애니메이션 프레임의 예시입니다. 흐름은 원과 곡선의 위치에 적응하여 자연스러운 애니메이션을 생성합니다. 상단 애니메이션은 잔잔한 유체 표면을 묘사하는 반면, 하단은 여러 개의 소용돌이가 있는 난류 장면을 보여줍니다.

Fig 11: 고무 오리가 고정된 바위 주위를 움직입니다(하단). 오리가 아래쪽과 왼쪽 모서리로 밀면서 해당 지역의 소용돌이들이 압축되고 오리의 움직임과의 상호작용으로 인해 점차 사라집니다. 상단은 프레임 0에 대한 기저를 보여줍니다. 우리 방법은 디리클레 경계 조건을 강제하여 기저를 도메인 경계에 정렬시킵니다. 노이만 조건과 같은 다른 유형을 지원하도록 확장하려면 경계 제약 조건을 지정하고 혼합하기 위한 추가적인 메커니즘이 필요할 것입니다. 우리 기저는 본질적으로 부드러워서 부드러운 유체 애니메이션과 경계 지오메트리를 생성하지만, 부드럽지 않은 경계에는 적용 가능성이 제한됩니다. 더욱이, 디리클레 조건은 장애물에 수직인 속도를 규정하는 것을 막기 때문에, 장애물이 유체를 능동적으로 밀 수 없어 준정적(quasi-static) 거동을 초래합니다. 우리는 이러한 현상들이 흥미롭다고 생각하며, 이에 대한 조사를 향후 연구 과제로 남겨둡니다. 마지막으로, 우리 기저는 MLP로 인코딩되어 있기 때문에 완전히 미분 가능합니다. 예를 들어, 역설계는 향후 연구를 위한 흥미로운 방향이 될 수 있습니다. 예를 들어, 주어진 애니메이션과 일치하도록 원의 위치를 최적화하는 것을 포함할 수 있습니다.

Fig 12: 우리의 신경 기저 운동학을 사용한 2차원 유체 애니메이션입니다. 배경에는 속도의 크기를 높이 필드로 시각화하고, 움직임을 더 잘 보여주기 위해 입자들을 이류시킵니다.

Fig 13: 도메인의 위상적 특성(genus)이 변하는 유체 애니메이션의 예시입니다. 공동(cavity)이 나타나면 흐름이 "갇히게" 됩니다. 그리고 공동이 열리면서 흐름이 방출됩니다.

Fig 14: 고정된 장애물이 있는 환경에서 우리의 신경 기저 운동학을 사용한 3차원 유체 애니메이션입니다. 두 개의 구형 소스에서 나온 입자들의 궤적을 속도장에 의해 이류시켜 보여줍니다.