16000 亿

谷歌发布人类历史首个万亿级人工智能模型

近日，Google Brain 的研究人员提出了稀疏激活专家模型Switch Transformer。研究人员表示，这个1.6 万亿参数模型是迄今为止发布的第一个万亿级人工智能模型，其速度是Google 之前开发的最大语言模型（T5-XXL）的4 倍，参数规模几乎是1750 亿参数的GPT-3 的十倍。