大语言模子正在遭到各大科技公司和科研机构的鼎力推进，操纵其能够帮忙我们做良多工作，但一个比力容易被轻忽的点是，那些大模子的训练和运行需要庞大的能量，上千亿参数的模子往往需要数百万 GPU 小时来训练，从而会产生大量碳脚印。
另一个问题是，它们的碳脚印到底有多大仍然是一个谜，对其权衡评估也还没有一个尺度办法。
（来源：《麻省理工科技评论》）
近日，人工智能草创公司 Hugging Face 对外暗示，它提出了一种新的、更好的办法，来更切确地计算模子产生的碳排放量，而且是评估其整个生命周期，而不单单是训练期间。
那可能是科技公司在评估 AI 产物碳脚印上迈出的一大步。相关专家们也在呼吁该行业更好地评估 AI 对情况的影响，那有利于更好地利用那些模子和数据。
同时，该方面的摸索还可能鞭策人们转向更有效的 AI 研究体例，好比微调现有模子，而不是一味建造更大的模子。
关于此次工做，Hugging Face 也颁发了一篇题为《预算 1*60 亿参数语言模子 BLOOM 的碳脚印》（Estimating the Carbon Footprint of BLOOM, a 1*6B Parameter Language Model）的论文，并于近日提交在 arXiv 预印本平台。
该公司为测试其新办法，估量了本年早些时候推出的大语言模子 BLOOM 的总排放量。那个过程涉及许多差别方面的叠加，包罗在超等计算机上训练模子的能量、造造超等计算机硬件和维护其计算根底设备的能量，以及运行 BLOOM 所需的能量等。
研究人员最初利用了名为 Code Carbon 的软件东西，来实时跟踪计算 BLOOM 在 18 天内产生的碳排放量。并估量得出，BLOOM 训练所产生的碳排放达 2* 吨，而在考虑到用来训练的计算机设备和更普遍的计算根底设备，以及现实运行 BLOOM 所需的能量时，碳排放量增长了一倍。
图 | 运行 BLOOM 模子的均匀功率颠簸（来源：arXiv）
关于一个模子来说，*0 吨的碳排放量似乎已经良多，但值得留意的是，BLOOM 的排放量要明显低于其他不异规模的大语言模子。其是在一台由核能供给次要动力（不会产生碳排放）的超等计算机上训练的，而其他模子训练所利用的能源更多地依赖化石燃料，污染要相对更严峻。
据领会，BLOOM 于 2022 年 * 月推出利用，Hugging Face 估量该模子每天会排放约 1* 千克的二氧化碳。
比拟之下，OpenAI 的 GPT-* （2020 年推出，1**0 亿参数）和 Meta 的 OPT 模子（2022 年推出，1**0 亿参数），在训练期间别离排放了约 *00 千克和 ** 千克的二氧化碳。GPT-* 的排放量较大，一部门原因是它在较旧、效率较低的硬件吉印通行训练的。
别的，以上数字只是基于外部估量或公司本身发布的有限数据，而实在的数据很难确定，目前没有尺度化的办法来权衡它们的碳排放。
Hugging Face 的目的是帮忙 AI 社区更好地领会大模子对情况的影响，以进一步优化处置碳排放问题。
（来源：arXiv）
卡内基梅隆大学计算机科学学院助理传授艾玛·斯特鲁贝尔（Emma Strubell）对外说：“Hugging Face 的论文为开发 AI 模子的机构设定了新尺度，其是迄今对大模子碳脚印最彻底的阐发，比我所晓得的任何其他论文或陈述都要详细。”
值得一提的是，虽然她没有参与本次新研究，但其早在 201* 年就撰写了一篇关于 AI 对天气影响的创始性论文，题为《NLP 中深度进修的能量和政策考虑》（Energy and Policy Considerations for Deep Learning in NLP）。
能够说，Hugging Face 供给了目前行业急需的量化语言模子碳脚印的办法。其展现出的模子在生命周期的排放量之大也让良多人感应惊讶。不外，关于进一步评估大语言模子对情况的影响，仍有一些工做需要停止。
别的，值得留意的是，领会 AI 模子的详细利用也非常重要，像谷歌和 Meta 等诸多大型科技公司，会通过 AI 模子来对用户保举内容或对评论停止分类，那自己利用的功率很小，但每天会停止超十亿次操做，那加起来就长短常大的能量消耗。
通过更好地领会 AI 的能源消耗量，可便利公司和开发人员在污染和成本之间做出更好的权衡，以在开发 AI 模子的同时尽更大程度较少相关碳脚印。
天气变革是人类目前面对的更大挑战之一，其影响着世界各地的生态系统和人们的日常生活，评估和削减各行业的碳排放是减轻天气影响的重要部门。
在论文最初，研究人员还讨论了切确估量机器进修模子的碳脚印的难度和将来有助于改善碳排放的研究标的目的。
参考材料：
021yin.com/2022/11/14/106*1*2/were-getting-a-better-idea-of-ais-true-carbon-footprint/
本文暂时没有评论，来添加一个吧(●'◡'●)