AMD发布首个AI小语言模型：6900亿token（amd ai）
时间：2024-10-03人气：作者：佚名
AMD发布了自己的首个小语言模型(SLM)，名为“AMD-135M”。
相比于越来越庞大的大语言模型(LLM)，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。
AMD-135小模型隶属于Llama家族，有两个版本：
一是基础型“AMD-Llama-135M”，拥有多达6700亿个token，在八块Instinct MIM250 64GB加速器上训练了六天。
二是延伸型“AMD-Llama-135M-code”，额外增加了专门针对编程的200亿个token，同样硬件训练了四天。
它使用了一种名为“推测解码”(speculative decoding)的方法，通过较小的草稿模型，在单次前向传播中生成多个候选token，然后发送给更大的、更精确的目标模型，进行验证或纠正。
这种方法可以同时生成多个token，不会影响性能，还可以降低内存占用，但因为数据交易更多，功耗也会增加。
AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型，测试了推测解码使用与否的性能。
比如在MI250加速器上，性能可提升最多约2.8倍，锐龙AI CPU上可提升最多约3.88倍，锐龙AI NPU上可提升最多约2.98倍。
AMD-135M小模型的训练代码、数据集等资源都已经开源，遵循Apache 2.0。
按照AMD的说法，它的性能与其他开源小模型基本相当或略有领先，比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。
最新文章
1、打开此电脑，在系统盘盘符上单击右键，选择“属性”。2、在属性界面“常规”选卡中，单击“磁盘清理”。3、等待磁盘清理工具搜索磁盘中可以清理的文件。4、在磁盘清理界面，勾选需要清理的项目，点击“清理系统文件”。5、然后点
(32)人喜欢2024-10-05
1、首先在页眉处双击，进入页眉页脚编辑状态。2、把页眉中所有内容全部选中。3、单击“开始”菜单选项卡，在工具栏中找到“边框”按钮，在弹出的下拉列表中选择“无边框”即可。4、单击“设计”菜单选项卡中的“关闭页眉页脚”，退出
(43)人喜欢2024-10-05
1、翻墙，汉语词语，读音fan qiang，比喻人或动物等不走门，越墙出入。2、网络上的翻墙，是指通过一些软件进入外国网站。即绕过相应的IP封锁、内容过滤、域名劫持、流量限制等，实现对网络内容的访问。
(29)人喜欢2024-10-05
1、手机贴膜有百害而无一利。2、说液晶屏有辐射的都是生产贴膜或做贴膜生意的商家忽悠消费者。液晶屏发光是靠LED发光二极管，现在家用照明都采用的LED，其功率和亮度远远大于液晶屏所产生的光。3、贴一层膜即使所谓最好最贵的，
(45)人喜欢2024-10-05
-
1、打开此电脑，在系统盘盘符上单击右键，选择“属性”。2、在属性界面“常规”选卡中，单击“磁盘清理”。3、等待磁盘清理工具搜索磁盘中可以清理的文件。4、在磁盘清理界面，勾选需要清理的项目，点击“清理系统文件”。5、然后点
(32)人喜欢2024-10-05 -
1、首先在页眉处双击，进入页眉页脚编辑状态。2、把页眉中所有内容全部选中。3、单击“开始”菜单选项卡，在工具栏中找到“边框”按钮，在弹出的下拉列表中选择“无边框”即可。4、单击“设计”菜单选项卡中的“关闭页眉页脚”，退出
(43)人喜欢2024-10-05 -
1、翻墙，汉语词语，读音fan qiang，比喻人或动物等不走门，越墙出入。2、网络上的翻墙，是指通过一些软件进入外国网站。即绕过相应的IP封锁、内容过滤、域名劫持、流量限制等，实现对网络内容的访问。
(29)人喜欢2024-10-05 -
1、手机贴膜有百害而无一利。2、说液晶屏有辐射的都是生产贴膜或做贴膜生意的商家忽悠消费者。液晶屏发光是靠LED发光二极管，现在家用照明都采用的LED，其功率和亮度远远大于液晶屏所产生的光。3、贴一层膜即使所谓最好最贵的，
(45)人喜欢2024-10-05
