首页 > 科技未来 > 内容

ChatGPT之所以难以复制，不仅是因为它消耗显卡，还因为水费、电费太贵？

发布于：2024-06-21 编辑：匿名来源：网络

当我醒来时，世界又变了。

ChatGPT进入公众视野后，AIGC行业迎来了爆发，尤其是上个月，仿佛每一天都可能是“历史性”的一天。

以ChatGPT为代表的生成式AI看似先进，但却以一种极其“经典”的交互形式出现在大众面前。

它没有花哨的图标，也没有深入人心的UI设计，只是用最简单的对话框来“震惊”世界。

然而，这样简单的形式却成为了网络上和现实中最热门的话题。

果然“好看的皮囊都是一样的，有趣的灵魂却是独一无二的”。

仅仅存在于网页和简单的问题和答案往往会让我们忽略很多问题。

这些看似毫无负担的“答案”实际上都使用了世界上为数不多的云计算功能之一。

随着ChatGPT成为常态，ChatGPT背后隐藏的角落也逐渐被报道出来。

烧钱烧电，还喜欢喝水。

生成式人工智能会消耗显卡。

这种情况有点类似于“挖矿”。

▲ 由 TPU v4 组成的 Google 机器学习中心图片来自：Google 训练大型语言模型（LLM）。

参数越多，性能越好。

2010年的LLM有大约1亿个参数，现在大约有1亿个参数需要训练。

运行它们需要具有更强计算能力的GPU。

NVIDIA也在2016年推出了相应的A高性能GPU，还可以封装8个A组成一个DGX A服务器。

▲ AI的精神食粮。

这些计算服务器，或者说显卡组，最终被放置在所谓的云计算中心中。

例如，微软的Azure云服务。

不仅训练大型语言模型需要大量的计算能力，而且当每个用户发出请求并且 ChatGPT 回答一次时，都会使用部分计算能力。

流量就是金钱，我想OpenAI和微软应该有一次难忘的经历。

据 Sameweb 称，ChatGPT 上个月在全球吸引了 16 亿次访问量，几乎是 1 月份的三倍。

在这种情况下，尽管微软已经做好了准备，为ChatGPT准备了超过10000个A，但面对这样的流量，OpenAI仍然坚持不住，导致宕机、账户被封、Plus会员被暂停。

有人估计，如果想要吸收现在的流量，微软就得购买数万张A、H显卡。

Azure目前的计算能力还远远不够。

但买更多的显卡不仅会烧钱，还会带来很多问题。

一台由8个A组成的DGX A服务器售价约为19.9万美元，最大功率为6.5kW。

按1万台计算，微软仅在硬件上就花费2.5亿美元。

运行一个月需用电1万度，需缴纳电费。

根据国家统计局披露的数据，中国居民每月消耗的电池容量约为69.3度。

ChatGPT 运行一个月，大约相当于我们 8 万人的用电量。

除了显卡本身的价值和维持其运行所需的电力外，还要为它们创造一个凉爽的环境并配置蒸发冷却装置。

原理也比较简单，就是利用蒸发的水来散热，但是需要大量的清水来运转，而且在循环过程中，大约有1%到2%的水会被水吹走。

风如细水雾。

虽然从宏观上看，水仍然保持着动态平衡，但在冷却塔的小环境中，它是一种无形的消耗。

结合AIGC需要巨大计算能力的计算中心，科罗拉多大学和德克萨斯大学的研究人员在论文中估算了训练过程中消耗的水量。

就GPT-3而言，训练期间所需的清洁淡水相当于填充核反应堆冷却塔所需的水量。

果然，人工智能最终会与核电挂钩。

更具体地说，大约消耗了 70 万升，他们还计算出，用户与 ChatGPT 对话 25 到 50 个问题，大致相当于让 ChatGPT 喝 1 毫升水。

同时，他们还发现，蒸发冷却塔工作时，平均每消耗一千瓦时的电量，就会消失一加仑的水（3.78L）。

事实上，不仅仅是微软。

Google 位于的三个数据中心使用了超过 23 亿加仑的清洁水。

▲ 谷歌的数据计算中心图片来自：Google 在美国，谷歌有 14 个数据中心为其搜索提供计算能力，现在还有 LaMDA 和 Bard。

而且训练LaMDA语言模型的过程比GPT-3消耗更多的能源和水。

事实证明，AI不仅消耗显卡，而且还生活在恒温的大房子里。

它的胃口也出奇的好，吃很多电，喝很多水。

无处不在的AI差距在AIGC行业，一个简单、响应准确的对话框不仅展现了技术实力，也展现了雄厚的资金实力。

Sasha Luccioni博士表示，对于大型、复杂的语言模型，世界上只有少数公司和组织有资源来训练它们。

▲ Sam Altman（左）和微软 CEO Satya Nadella（右）图片来自：Wired 仍然以 GPT-3 为例，训练 1 亿个参数的成本约为 1 万美元，还不包括后续运营和迭代维护等。

这些运营过程中产生的有形和无形成本是很多企业难以承受的。

因此，在AIGC浪潮中，存在着无形的AI鸿沟，大致分为两类公司。

一是大型科技公司，有钱花钱，可以训练先进复杂的大型预测模型。

另一类是非营利组织和无力承担费用的小公司。

在很多关于AIGC消耗多少电力和资源的研究报告中，大多数都使用GPT-3，或者使用“估计”等词语。

就像在训练 GPT-3 使用了多少水的研究中一样，由于 OpenAI 没有透露 GPT-3 训练所需的时间长度，因此研究人员只能根据 Azure 计算中心冷却塔公布的数据来估算由微软。

。

碳排放等一系列参考数据大多来自2016年的Bert训练模型预测。

除了资金、GPU、数据中心、网络带宽等硬实力之外，谷歌和微软也列出了训练算法，大型语言模型的流程、时间、参数等都是绝密。

我们只想通过提供的API来使用和理解它，或者直接询问ChatGPT或Bard本身。

无形中，这也成为了“AI鸿沟”。

AIGC发展如此迅速，其能力正在无限扩展。

很多国家、地区和组织都在考虑如何给AIGC制定一些规则，防止其独断专行（产生自我意识，开始觉醒……）。

但就像相关研究人员一样，目前AIGC（例如GPT-4）几乎没有任何公开信息，它更像是一个黑匣子。

诚然，对于大公司来说，AIGC可能是下一个新时代的开始，塑造技术壁垒，这是可以理解的。

但对于资源的消耗，立法机关和公众都应该保持一定的透明度。

这就是为什么人工智能在提供便利的同时，研究人员也在不断探索和厘清相应的成本。

人工智能的发展实际上是人类的登月。

对AI功耗、碳排放、最新用水量的研究并不是为了谴责或反对AIGC的发展，AIGC用资源换取技术改进。

这些数据实际上为AIGC行业提供了另一个视角。

在人性化答案的背后，我们或大型科技公司到底为此付出了什么？这并不是呼吁谷歌和微软立即实现碳中和，并为所消耗的水资源、电力和间接环境问题买单，从而成为谷歌绿或绿软。

AIGC的爆发不是集群，也不是简单的技术爆炸。

它背后涵盖了相当多的产业链，更像是“水到渠成”。

大公司云计算中心的计算能力增强，GPU高效计算复杂算法，大型语言模型的参数变得更加复杂。

此外，AIGC公司本身也一直在不计成本地进行投资。