ag百家乐苹果版下载 大模子推理是更大的“电老虎”, 不外照看东谈主员找到了顺服它的智力

ag百家乐苹果版下载

AI大模子的磨真金不怕火阶段往往被以为是动力糜掷最高的阶段。在此阶段，磨真金不怕火诸如GPT系列的大模子需要多数的数据集进行磨真金不怕火，并通过更始其参数来使展望输出与标的输出尽可能一致。

固然大模子磨真金不怕火阶段的能耗很高，但有笔据标明，大模子推理调用频率远高于磨真金不怕火，导致推理阶段的能耗可能更高，成为更大的“电老虎”。

大模子推理能耗更高

跟着大模子的快速发展，与之有关的动力糜掷也在快速增长。在磨真金不怕火阶段，大模子即是“电老虎”。

Hugging Face曾清醒其BLOOM 大模子在磨真金不怕火技能糜掷了433兆瓦时（MWh）的电力。而其他大模子，如GPT-3、Gopher和OPT，在磨真金不怕火技能鉴别糜掷了1287、1066和324 MWh的电力。这些模子皆在TB级别的数据上进行磨真金不怕火，并具有1750亿个或更多参数。

这些动力糜掷的数据看起来确乎很惊东谈主，然而大模子磨真金不怕火往往只需要几个月的时分，唯有连合磨真金不怕火技能对动力的糜掷比较大。一朝模子磨真金不怕火完了，则会参预部署应用阶段，也就所谓的推理阶段。

相干词照看标明，推理阶段，即模子在骨子应用中生成输出（举例，ChatGPT的恢复用户查询），也可能糜掷多数的动力，以致可能高于磨真金不怕火阶段。

2023年2月，半导体分析机构SemiAnalysis曾臆度，OpenAI需要3617台NVIDIA的HGX A100工作器（共28936个GPU）来撑合手ChatGPT，这意味着每天的能耗为564 MWh，用于经管约2亿个用户肯求。比较GPT-3磨真金不怕火阶段臆度使用的1287 MWh，推理阶段的动力需求清醒要高得多。

SemiAnalysis相通预估，要是将肖似ChatGPT的AI整合到每一次谷歌搜索中，可能需要512,821台NVIDIA的HGX A100工作器，要是按照每台工作6.5 kW 功率谋划，每天能耗要达到80 GWh，年动力糜掷量达到 29.2 TWh。

这些预估数据标明，这种谷歌搜索全面转向AI搜索，可能会使谷歌年用电量加多到与总计这个词爱尔兰的用电量零碎。

大模子推理经过中动力糜掷影响身分

目下，这些大模子运转在各个畛域宽泛应用，ag百家乐解密一个日益进攻的问题也浮出水面：这些大模子在骨子推理经过中需要糜掷若干动力？其动力本钱是否可合手续？

最近，麻省理工学院（MIT）等机构的照看东谈主员进行了一项潜入的照看，旨在量化分析大谈话模子推理的动力本钱。

照看以Meta AI的LLaMA模子为对象，在不同的硬件（NVIDIA V100和A100 GPU）和数据集（Alpaca和GSM8K）上进行了推行。

照看评估了不同大小的LLaMA模子（7B，13B和65B）在最低硬件竖立下的推感性能和能耗。此外，还潜入分析了LLaMA 65B模子在多GPU和多节点环境下的漫衍式推感性能，以及不同的批经管大小和分片数目对动力糜掷的影响。照看的评估见解包括：每秒字数、每秒token数、每秒反应数、GPU期骗率、动力糜掷（焦耳），以及每秒动力糜掷（瓦特）、每个token动力糜掷和每个反应动力糜掷。

照看发现，A100 GPU 在推感性能上清醒优于 V100 GPU，尤其是在较小的 LLaMA 模子（7B 和 13B）上，推理速率进步了 1.25 到 2 倍。但在疏浚的模子大小下，使用 A100 GPU 的能耗也显赫加多，尤其是在 LLaMA 7B 模子上。因此，推理阶段，遴荐GPU类型需要量度性能和能耗。

同期，就像汽车排量越大越耗油一样，模子越大推理也越“耗电”。照看发现，关于 LLaMA 65B 这么的大模子，往往需要进行漫衍式推理，然而跟着分片数目的加多，推理的能耗也随之加多。

那么怎么才能缩短大模子的能耗呢？

照看东谈主员测试了GPU功耗截止（power capping）对LLaMA 65B模子推理时分、能耗和token生成速率的影响。照看发现，通过缩短GPU的功耗上限，不错大幅度减少推理经过中的动力糜掷，但这可能会导致推理时分的稍稍加多。

举例，照看团队将功耗截止从250W降至175W，不错终了平均23.21%的能耗缩短，同期推理时分仅平均加多约6.7%。而要是大幅度缩短功耗截止，举例从250W降至150W，推理时分则显赫加多，平均增幅约 19.49%。

最新照看具有较强的骨子酷好酷好。在骨子部署大模子时，数据中心不错根据不同的责任负载和性能需求，动态更始GPU类型以及适度功耗上限ag百家乐苹果版下载，从而缩短运营本钱和环境影响。