首页 > 科技动态 > 内容

图计算，下一个技术前沿？

发布于：2024-06-17 编辑：匿名来源：网络

图计算正在成为下一个技术前沿。

这里的图片是“图”，而不是图片“像”，它来自数学中的图论。

图计算是研究人类世界中的事物以及事物之间的关系，并对其进行描述、表征、分析和计算的技术。

Gartner在其《年十大数据和分析技术趋势》报告中预测，到2020年，图技术将用于80%的数据和分析创新。

图计算技术在金融、制造、能源等领域具有巨大的应用价值和前景。

它甚至可以在尖端的大脑研究中看到。

目前，图计算已成为国内外科技巨头竞争的“新风口”。

中国工程院院士、清华大学计算机科学与技术系院士教授·郑纬民强调：“部署高性能图计算恰逢其时，相当于牛鼻子抓住了大数据的未来发展、人工智能和高性能计算产业影响不可估量》陈文光和教授做客极客公园创始人Park《重建》专栏|来源：现场截图01 图片是了解世界的新方式。

创始人Park：图计算中的“图”是什么意思？？它们是我们日常生活中的照片吗？陈文光：从英语角度来说，比较容易区分。

图片是英文的“图像”，图形是“图形”。

图计算的英文对应词是“GraphProcessing”。

这里的图实际上来源于数学中的图论。

在图论中，“图”由节点和边组成。

你可以想象节点代表实体，边代表实体之间的关系。

例如，假设我们将微博用户关系抽象成一个图，将其记入图上的点，并将关系跟踪到图上的边。

这条边实际上是有方向的，我们称之为有向图。

有些图的边没有方向，称为无向图。

另一个例子是道路网络。

如何用图表来表示？将位置（尤其是交叉路口）视为节点，然后将道路本身视为边缘。

这时，边还可以有属性，比如距离、宽度等。

一些图数据示例|来源：互联网可以看到，图数据可以很好地描述事物之间的联系，包括描述联系的方向和属性。

值得注意的是，这种图表可能非常大。

例如，社交网络帐户之间形成的图可能具有数亿个节点和数百亿条边的巨大规模。

创始人Park：您之前提到“图片是认识世界的新方式”。

那么我们之前是怎样理解世界的呢？图片作为理解世界的方式有多先进？陈文光：在大学数据结构课上，大家开始学习的链表或者线性表基本上都是一维结构。

然后我了解了树，它的应用范围很广。

比如广播树，我们今天的直播中，一个视频流需要发送给几千人。

并不是一一发送，而是先发送一些点，然后再通过它们发送其他点，以此类推。

。

树是一种非常有用的数据结构，但它有一个限制，那就是它不能有循环。

如果有环，就不能称为树，而图可以有环。

从数据结构演化的角度来看，图是事物之间关系的原生表达。

当用来表示关联时，它们的描述能力比链表、树等数据结构强得多。

因此，用图片来认识世界，尤其是用来认识关系时，是一种更直接、更高级的方式。

传统的数据库称为关系型数据库，但实际上它的数据组织形式并不是原生的关系，而是以表的形式组织的，表是一张一张的表，通过表上的键连接起来。

所以其实关系型数据库应该叫表数据库，图数据库应该叫关系型数据库。

创始人Park：什么是图计算？它与图数据库有什么关系？陈文光：图计算有广义和狭义之分。

狭义的图计算是指在一定的、不变的图上进行各种计算。

例如，路网图基本比较稳定，一条路的修建时间较长。

我们可以对路网图进行一定的计算操作，比如求从水立方到故宫的最短路径。

这是图计算可以解决的典型问题。

广义图计算可以做更多事情。

是指基于图数据进行各种处理。

例如，这张图正在改变。

在路网图中，如果我们只使用道路的宽度作为边的属性，它可能会长期保持不变，但是如果我们使用边上道路的拥堵程度作为属性，那么图表正在改变。

与流图计算相比，数据以流的形式源源不断地到来。

怎么处理呢。

这些都属于图计算的大范畴。

广义的图计算可以理解为包括图数据库。

02 图计算的发展需要技术和需求两轮驱动创始人 Park：您之前在采访中提到，您遇到了《编译原理》（编译器）的共同作者 Monica Lam，她对你。

很感动也很受启发，我很好奇这具体指的是什么？陈文光：我2003年开始在清华大学工作，最初的学术方向是做编译器的编译优化。

我们在国际顶级会议PLDI（编程语言设计与实现）上发表了论文。

如果论文能够被接受，说明大家还是认可这个作品的，但是它最终的效果是什么呢？当时在 CPU 测试基准上实现的性能提升仅为 1% 左右。

这个技术很有用，但总体影响不是很大。

于是我就转向另一个方向，做程序分析。

后来我遇到了 Monica Lamm，她说了一句话对我影响很大：“好的软件不是通过程序分析和错误检测找到的，而是由合适的人构建的。

”也就是说，好的软件一定是由合适的人从头开始构建的，而程序分析实际上是在做辅助优化，并没有解决整个系统中最重要的问题。

这项工作很有用，但没那么有用。

。

受这个思想的影响，我走上了从无到有构建高级软件系统的道路。

2008年，我开始做图计算相关的学术研究。

创始人Park：我曾经在清华大学做过图计算相关的研究。

我为什么想创业？陈文光：我们在图计算方面取得了一些积极的成果。

到2016年，我们已经研究了一个分布式内存图计算系统，它的速度比当时开源软件常用的图计算框架GraphX快3倍左右，而内存需求却只有它的1/10左右。

这奠定了良好的基础。

当时我就在想如何把图计算做得更好。

我发现至少到2020年为止，我们自己开发的系统软件很少，所以我一直在想这是什么原因？我在清华培养了十几位博士生，他们都非常擅长编写软件。

我发现他们毕业后主要是进入这个行业。

但他们的很多工作可能是对现有大型软件进行一些渐进式改进。

所以我想，我们已经拥有了一个出色的软件基础，??比现有技术领先一到两个数量级。

如果可以成立一家公司，可以聚集优秀的毕业生，不断改进软件，然后推广。

这是为了探索和解答我一直以来的疑问：我们做了自己的系统软件，但是如何使用呢？于是费马科技就在那时成立了。

创始人Park：费马科技当时做得很好。

为什么选择加入蚂蚁金服？陈文光：要真正发现图计算，第一步是做出图计算；第二步是让人使用它；第三步是大规模使用。

当时困扰我的问题是如何从被部分人使用到被大规模使用。

到年底，我们发现了自己的局限性。

Fermat团队总体来说技术上很强，但是我们在管理和营销方面相对薄弱，尤其是后者。

虽然取得了一些成绩，也有一些标杆客户，比如京东金融、国家电网、民生银行等，但整体的商业化路径尚不明确，没有办法大规模推广。

我当时就觉得，图计算要想获得更好的发展，还是需要技术和场景的两轮驱动。

当我们在学校时，我们更多地从技术驱动的角度推动进步。

蚂蚁作为一家金融科技公司，对于图计算有着全球领先的场景需求，而蚂蚁本身当时在图计算方面也有着良好的研究基础。

所以，我们决定加入蚂蚁。

03 图计算方兴未艾创始人Park：图计算现在发展到什么阶段？陈文光：如果用一个词来简单形容的话，应该叫方兴未艾。

图数据库的受欢迎程度远高于其他数据库技术，增长了11倍 |资料来源：互联网图计算在金融、证券、公共卫生等各个行业都有一些典型案例。

大家可能都在密切关注。

例如，在数据库流行度排名网站DB-Engines上，图数据库在过去十年中比其他数据库受到了更高的关注。

另一方面，一些功能相对成熟的产品也出现了。

我认为图计算整体还处于比较早期的阶段，它的整个产品形态还没有最终确定。

如果与关系数据库相比，图计算在技术深度和应用广度上仍然存在较大差距。

创始人Park：图计算的具体行业应用有哪些？陈文光：我先介绍一下金融风险控制的例子。

例如，在企业担保场景中。

如果你想给一家企业提供贷款，该企业会向A公司要求担保，然后A公司向B公司提供担保，然后B公司向C公司提供担保，最后就会发现：它们形成一个环。

那么这个保证就无效了，因为随着你一层一层往下走，它又带着问题回到了原来的公司。

这可以抽象为在图上寻找环的问题。

使用传统方法无法解决寻找戒指的问题。

例如，有的银行采用MapReduce大数据处理方法，但在企业担保场景下，只能找到长度为6的环，更长的则无法找到。

所以在像套现分析这样的场景中，不仅需要找到漏洞，而且还需要做得非常快。

当用户刷信用卡时，他们肯定不希望后端等待两个小时才说有风险。

在金融场景中，“实时”是比较困难的。

今年双11，蚂蚁金服每秒最高交易笔数为58万笔。

在如此高的吞吐率下检测异常并确保交易能够按时完成是非常具有挑战性的。

在蚂蚁较多的风控场景下，我们希望在20毫秒内完成图计算过程。

图计算的应用不仅在金融领域，在复杂电网的故障分析、电商产品的智能推荐、疫情期间的紧密联系、亚紧密联系和时空陪伴等方面也有重要应用。

另外，大家日常生活中在蚂蚁森林中窃取能量，也是使用图数据库进行管理。

创始人Park：目前图计算广泛应用的行业有哪些特点？陈文光：首先，行业的数字化必须有一定的基础，能够产生大量的数据。

其次，需要进行复杂的关系分析，数据不是孤立的。

例如，目前物联网产生一些数据，每个传感器根据时间上传一些数据。

然后可以使用时间序列数据库来处理这些。

总体来看，随着整个行业数字化水平的加深，复杂关联分析的需求进一步增加，图计算将会有更好的发展。

创始人Park：图计算融入人工智能可以解决什么样的人工智能问题？图计算与AI结合目前进展如何？陈文光：人工智能与图计算融合产生的图神经网络是目前快速发展的重要领域。

人或各种实体之间的关系数据如何与神经网络相结合？图神经网络使用表示学习。

通过图的结构，每个节点或边首先用向量表示，然后使用神经网络进一步处理。

这扩大了神经网络的使用范围，并将实体之间的关系引入到人工智能处理中。

目前，图神经网络有很多应用。

我们将图神经网络系统应用于芝麻信用，提高信用评分的准确性，取得了良好的效果。

创始人Park：我知道你正在尝试用图计算来模拟神经元。

您想解决什么样的问题？为什么您认为图计算有机会解决脑科学领域的相关问题？陈文光：就科学发现的范式而言，第一个范式是实验科学，第二个范式是理论科学，第三个范式实际上是基于模拟的方法。

大脑作为研究对象，受到伦理和法律的制约。

直接研究它是非常困难的。

缺乏实验方法和手段。