使用图神经网络从稀疏数据中学习连续时间偏微分方程

BitDreamCraft
• 阅读 1108

这是一篇在2020年发表在ICLR的论文,论文使用图神经网络从稀疏数据中学习连续时间偏微分方程,文章提出的模型主要创新点是允许任意空间和时间离散化,也就是说在求解偏微分划分网格时,网格可以是不均匀的,由于所求解的控制方程是未知的,在表示控制方程时,作者使用了消息传递的图神经网络进行参数化。

在许多系统中偏微分方程至关重要。但是求解大多数偏微分方程长期以来一直是一项艰巨的任务,通常需要复杂的数值求解技巧,尤其是当方程的参数或边界条件部分未知时。

图神经网络 (GNN) 因为在非欧几里得系统建模中具有广泛的适用性,所以可以为求解偏微分方程提供了新颖而令人兴奋的概念。

在本文中,我们将回顾一种使用图神经网络来表示偏微分方程中重要的时间导数分量的方法。

一个常见的偏微分方程定义为,

使用图神经网络从稀疏数据中学习连续时间偏微分方程

其中系统相对于空间坐标 x 和时间 t 的时间演化取决于其自身及其相对于空间坐标 x 的一阶或更高阶导数。

这种形式的偏微分方程是一大类科学问题的基础,在声波、流体、热扩散等具有传播特性的系统中有着广泛的应用。

[1] 提出使用 GNN 逼近离散点网格的函数 F,将原方程用直线法(MOL)离散化,选取系统域 Ω 中的 N 个节点,因此函数 F 为 在这些空间节点上离散化,可以表示为

使用图神经网络从稀疏数据中学习连续时间偏微分方程

其中 N(i) 是 xi 处相邻节点的一组索引,x{N(i)} 与 u{N(i)} 是 N(i) 中节点的位置和状态。

我们将用 G=(V, E) 表示无向图,其中 V 作为顶点集,E 作为边集。为了构建这个图,首先对离散点使用Delaunay三角剖分,如果两个节点在至少一个三角形的同一边上则认为两个节点相邻节点,如下图所示

使用图神经网络从稀疏数据中学习连续时间偏微分方程

一组点的 Delaunay 三角剖分。绿色和橙色点被认为是邻居,因为它们共享相同的边缘。来源[1]

然后通过使用神经网络的消息传递 (MPNN) 对函数 F 进行建模,通过K个图传播隐藏状态,每层 k 首先为每个节点 i 收集消息,然后更新相应的节点状态,

使用图神经网络从稀疏数据中学习连续时间偏微分方程

其中φ、γ是DNN参数化的可微函数,

使用图神经网络从稀疏数据中学习连续时间偏微分方程

然后用最后一层图形来计算PDE,

使用图神经网络从稀疏数据中学习连续时间偏微分方程

为了监督模型的学习,使用均方误差观测状态和估计状态之间的差异。

使用图神经网络从稀疏数据中学习连续时间偏微分方程

与数据时间间隔较宽的纯离散时间模型相比,这种方法的优势在于它可以在连续时间预测系统的状态,同时在离散时间学习系统的状态。

使用图神经网络从稀疏数据中学习连续时间偏微分方程

a)热传导方程的相对测试误差。b)真实和学习过的系统动力学。来源[1]

这种进化机制在数学上由偏微分方程描述,图神经网络将这些机制抽象为节点(或边)之间的信息流。论文中提到图神经网络将进一步推动科学研究和社会经济,因为它们与描述自然界和人类社会中广泛存在的非欧几里得数据或系统的自然结构相关性。

论文信息:

1.Valerii Iakovlev, et. al., “Learning Continuous-time PDEs From Sparse Data with Graph Neural Networks”, arXiv:2006.08956.
https://www.overfit.cn/post/1399a0d831ea4f10b82186284ba3adc1

本文作者:Madali Nabil

点赞
收藏
评论区
推荐文章
blmius blmius
4年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
美凌格栋栋酱 美凌格栋栋酱
7个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
4年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
MLtech MLtech
4年前
图神经网络(Graph Neural Networks)概述
论文:AComprehensiveSurveyonGraphNeuralNetworks一篇关于图神经网络的综述文章,着重介绍了图卷积神经网络(GCN),回顾了近些年的几个主要的图神经网络的的体系:图注意力网络、图自编码机、图生成网络、图时空网络。1、介绍传统的机器学习所用到的数据是欧氏空间(Euclidea
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Stella981 Stella981
3年前
CPU推理性能提高数十倍,旷视天元计算图、MatMul优化深度解读
  机器之心发布  机器之心编辑部  !(http://dingyue.ws.126.net/2020/0806/6a6e4896j00qemtzy001ad000p000aop.jpg)本文针对旷视天元深度学习框架在推理优化过程中所涉及的计算图优化与MatMul优化进行深度解读。  背景及引言  在深度学
为什么mysql不推荐使用雪花ID作为主键
作者:毛辰飞背景在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究
Python进阶者 Python进阶者
1年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这