前言

隐式流(INR)表示在3D视觉中是一个新型的领域，也是一个非常热门的领域，可以看作是PDE的范式

Pan, Shaowu, Steven L. Brunton, and J. Nathan Kutz. "Neural Implicit Flow: A mesh-agnostic dimensionality reduction paradigm of spatio-temporal data." arXiv preprint arXiv:2204.03216 (2022).

隐式神经流可以看作是DeepOnet的拓展，他的网络架构其实是和DeepOnet是高度相似的，也是算子学习的一种，是一种网格无关的方法，这与FNO等具有明显差别。这篇文章算是对DeepOnet进行了一个魔改，利用了神经网络最后一层的特点，算是一篇不错的文章。

问题描述

考虑到具有不同时间或参数的三维时空数据

$$ \partial \mathbf{u}/\partial t=\mathcal{G} \left( \boldsymbol{\mu },\mathbf{u},\nabla \mathbf{u},\nabla ^2\mathbf{u},... \right) , $$

其中，\( (\mathbf{x},t,\boldsymbol{\mu })\in \Omega =\mathcal{X} \times \mathcal{T} \times \mathcal{D} ,\mathcal{X} \subset \mathbb{R} ^3,\mathcal{T} \subset \mathbb{R} ^+,\mathcal{D} \subset \mathbb{R} ^d \)，\( \mathcal{G} \)是一类非线性算子。

在给定初始条件和边界条件的情况下，我们针对不同的参数或时间，乃至只有稀疏观测值的情况进行PDE求解。

方法与网络架构

这篇文章的思想是和HyperNetworks是一样的

Ha, D., Dai, A., & Le, Q. V. (2016). Hypernetworks. arXiv preprint arXiv:1609.09106.

就是利用ParameterNet来决定ShapeNet的参数。具体而言，就如下图所示

这里我们只优化ParameterNet网络的参数 \( \boldsymbol{\Theta} \)，来决定ShapeNet网络的参数

$$ \left[\begin{array}{llllll} \operatorname{vec}^{\top}\left(\begin{array}{l} \mathbf{W}_1 \end{array}\right. & \ldots & \operatorname{vec}^{\top}\left(\begin{array}{llll} \left.\mathbf{W}_L\right) & \mathbf{b}_1^{\top} & \ldots & \mathbf{b}_L^{\top} \end{array}\right]=f_{\mathrm{MLP}}(t, \boldsymbol{\mu} ; \boldsymbol{\Theta}) \end{array}\right. $$

图上的最优表示\( \zeta_1 \cdots \zeta_r \)是通过POD-QDEIM方法学习到的r个最优数据的表示。

Drmac, Z., & Gugercin, S. (2016). A new selection operator for the discrete empirical interpolation method---improved a priori error bound and extensions. SIAM Journal on Scientific Computing, 38(2), A631-A648.

loss函数的形式为

$$ \min _{\boldsymbol{\Theta}} \frac{1}{M} \sum_{i=1}^M\left(\mathbf{u}_{\mathrm{MLP}}\left(\mathbf{x}_i ; \mathscr{W}\left(t_i, \boldsymbol{\mu}_i ; \boldsymbol{\Theta}\right), \mathscr{B}\left(t_i, \boldsymbol{\mu}_i ; \boldsymbol{\Theta}\right)\right)-\mathbf{u}\left(\mathbf{x}_i, t_i, \boldsymbol{\mu}_i\right)\right)^2 $$

此外，为了学习到多尺度特征信息，ShapeNet的网络架构采用了SIREN方法来学习高频信息，这样也会放大噪声信号但是也能保留更多的特征信息。

Sitzmann, V., Martel, J., Bergman, A., Lindell, D., & Wetzstein, G. (2020). Implicit neural representations with periodic activation functions. Advances in Neural Information Processing Systems, 33, 7462-7473.

具体的网络架构如下所示：

对于一般的情况，ParameterNe的输入是\( t,\boldsymbol{\mu } \)
对于算例受限的情况，也即输入数据的量是受限的情况，我们应该选择最好的若干个传感器位置，文章介绍使用POD-QDEIM学习到\( p \)个最优的传感器位置，然后将对应的传感器数据

$$ \begin{gathered} u\left(x_{\gamma_1}, y_{\gamma_1}, z_{\gamma_1}\right) \\ \bullet \\ \bullet \\ u\left(x_{\gamma_p}, y_{\gamma_p}, z_{\gamma_p}\right) \end{gathered} $$

作为ParameterNe的输入。

实验

实验部分可以去参考原论文，作者已经作了详细的阐述，有任何问题都可以深入研究，这里就不再赘述。

结论

本文将INR引入到PDE求解中，将空间复杂度和其他因素进行了分离，遵循了PDE的流形学习思想，实现了网格无关且提高了性能。这个方向和CV里的INR是一脉相承，最近几年一定会大火的，如果有兴趣一定要深入研究兴趣，相信各位都能发表不错的文章。

如果有兴趣，读者也可以参考以下的论文:

Boussif, Oussama, et al. "MAgNet: Mesh Agnostic Neural PDE Solver." arXiv preprint arXiv:2210.05495 (2022).
Yin, Yuan, et al. "Continuous PDE Dynamics Forecasting with Implicit Neural Representations." arXiv preprint arXiv:2209.14855 (2022).