首页 > 科技 >

训练 GPT3-175B 模型最高快 180%,谷歌宣布云端 AI 芯片 TPU v5p

发布时间:2023-12-07 14:45:46来源:
12 月 7 日消息,谷歌在推出全新大语言模型 Gemini 1.0 之外,还发布了加强版 Tensor Processing Unit(TPU)芯片,最新型号为 TPU v5p。

注:在性能方面,谷歌 TPU v5p 在 bfloat16 精度下,可以实现 459 teraFLOPS;在 Int8 精度下,可以实现 918 teraOPS

谷歌 TPU v5p 配备 95GB 的 HBM3 内存,内存带宽为 2.76TB / sec,每个 Pod 最多有 8960 个加速核心,并自研搭载 600GB/sec 芯片互联主控,可以更快、更正确地训练 AI 模型。

与 TPU v4 相比,新宣布的 TPU v5p 具有两倍的 FLOPS(每秒浮点运算)和三倍的高内存带宽晋升。

谷歌表现在 BF16 精度下,训练 OpenAI 拥有 1750 亿参数的 GPT3,比此前的 TPU v4 AI 加速器芯片快 90%;如果在 Int8 精度下可以到达 180%。

每个 TPU v5p 加速器的运行费用为每小时 4.20 美元,这比 TPU v4(每小时运行费用为 3.22 美元)和 TPU v5e(每小时运行费用为 1.20 美元)贵一点。

(责编: admin)

免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。