内容字号:默认大号超大号

段落设置:段首缩进取消段首缩进

字体设置:切换到微软雅黑切换到宋体

京东云_较好网站建设公司_免费

2021-06-09 01:23 出处:欧普曼云计算 人气: 评论(0

京东云_较好网站建设公司_免费

机器学习工作负载是计算密集型的,韩国云服务器,通常运行数小时或数天。为了帮助企业显著提高这些工作负载的运行时间,谷歌开发了称为Tensor Processing Units(简称TPU)的定制处理器,这使得以更高的性能和更低的成本训练和运行先进的深度神经网络成为可能。

第二代和第三代TPU芯片作为云TPU提供给谷歌云客户。他们提供高达420兆兆每云TPU设备和超过100兆在一个完整的云tpuv3吊舱。云TPU通过将成熟的硬件架构"脉动阵列"(systolic array)与创新的浮点格式结合起来,实现了这一高性能。

这种定制的浮点格式被称为"脑浮点格式",简称"bfloat16"。这个名字来源于"Google Brain",云报,这是谷歌的一个人工智能研究小组,该小组提出了这种格式的想法。Bfloat16在systolic数组中被小心地使用,大数据分析软件有哪些,以加速云tpu上的矩阵乘法运算。更准确地说,矩阵乘法中的每个乘法累加操作都使用bfloat16进行乘法,使用32位IEEE浮点进行累加。在本文中,我们将详细研究bfloat16格式,北京大数据公司有哪些,并讨论cloudtpus如何透明地使用它。然后,我们将详细介绍它提供的一些好处,包括更高的性能、模型可移植性,以及针对各种深度学习工作负载的更好的数值稳定性。

Bfloat16是一种用于机器学习的自定义16位浮点格式,由一个符号位、八个指数位组成,还有七个尾数。这与工业标准ieee16位浮点不同,ieee16位浮点在设计时没有考虑深度学习应用程序。图1展示了三种浮点格式的内部结构:(a)FP32:IEEE单精度,(b)FP16:IEEE半精度,和(c)bfloat16。

,云服务器一年多少钱
分享给小伙伴们:
本文标签: 京东较好网站建设公司免费

相关文章

评论

发表评论愿您的每句评论,都能给大家的生活添色彩,带来共鸣,带来思索,带来快乐。

签名: 验证码: 点击我更换图片

评论列表