快科技在10月1号这天发布了一则消息, 这个好消息是关于Linux系统方面的。在最新的7.4版本内核里面, 专门引入了一项叫做AMD PerfOpt的优化技术。

这项优化主要是为了让Radeon品牌的核显硬件, 当它在本地环境下运行那些庞大的大语言模型软件时, 能够绕过IOMMU这一环节, 直接去访问系统的物理内存资源。正是因为这样的操作机制的改变, 使得Llama.cpp这类软件的吞吐量数据, 最高能够获得23%的提升效果。

该补丁是由IOMMU维护者Joerg Roedel在9月24日合入的。AMDGPU驱动会在检测到APU核显处在Identity Domain的工作状态下, 自动启用这个功能。独立显卡是不受此影响。

Netflix 的开发人员 Boqun Feng, 他在邮件列表里公布了测试数据。这个数据显示, 核显去访问那些系统动态分配的内存。这些内存通常被称为 GTT 区域。

它的速度, 只有固定预留的显存速度的二分之一到三分之一。不过, 当人们开启 PerfOpt 功能之后, 情况就变了。这时候, GTT 区域的访问延迟, 会降低到比固定预留显存的延迟还要低百分之十以内。

当大语言模型无法完全装入到入门笔记本来小容量预留显存里面的时候, 大部分数据都会落在GTT这个区域里面, 这正是因为PerfOpt在AI场景下进行表现效果明显的原因所在。

测试平台方面使用的是基于 Linux 7.3 补丁构建的内核, 然后对三款 APU 进行了实际测试, 结果显示锐龙 AI 9 365 的 AI 性能得到了提升, 最高幅度能够达到 23%, 与此同时, 其吞吐量也提升了, 而且首 Token 响应速度也得到了提升。

此外, 留给显存的空余空间越小, 性能优化所带来的效果就越显著。锐龙AI 5 340搭载的是Radeon 840M显卡, 经过测试发现, 各项指标均有改善, 提升的幅度至少达到18%以上。

在旗舰级别的APU方面, 锐龙AI Max+ 395被安装在Framework Desktop这台设备上, 内存配置为64GB LPDDR5-8000, 性能表现的典型提升幅度仅仅是2%到4%, 在个别测试场景下, 如果不开启PerfOpt这项功能, 运行速度反而会更加快速。

目前进行的测试工作, 仅仅涉及到了那些采用了Zen 5架构, 并且配备了RDNA 3.5核显处理的APU这种组合模式, 而对于像是以前的芯片产品这样的存在情况, 具体包括锐龙7040或者Steam Deck中所包含的Van Gogh定制芯片等型号在内, 我们至今尚未能够确定它们到底是不是拥有该特性位。

PerfOpt这玩意儿打的补丁, 里面总共多出来了341行代码, 这些代码牵扯到了8个文件, 不过它最后到底是用一种什么样的样子进到那个正式的内核里去去的, 这个事到现在还没确定下来。