此前不久，Transformers 第五版推出了第一个 RC，也就是候选版本，版本号为 v5.0.0rc0 。

那个网址为https://github.com/huggingface/transformers/releases/tag/v5.0.0rc0的，是GitHub 。

此次更新，表明全球那很是流行的 AI 基础设施库，正式跨越一个，从 v4 进展到 v5 的，持续了长达五年的技术周期。

Hugging Face 项目里，最核心的那个开源项目是 Transformers，自 2020 年 11 月 v4 版本发布之后，Transformers 的每日下载量，从当时的两万次，急剧增长到现在的超过三百万次，并且总安装量突破了十二亿次。

它界定了业界运用模型的方式，其支持的架构最早有40个，当下扩展到了400多个，它遍及文本、视觉、音频和多模态领域，社区贡献的模型权重超75万个，这些也覆盖了文本、视觉、音频和多模态领域。

官方宣称，于人工智能范畴内，“重塑”乃是维持长盛不衰的要点所在。Transformers身为生态系统里处于领先地位的模型定义库，得持续演进且对库的形态给予调整，从而来保持其相关性。

v5版本把PyTorch确定为仅有的核心后端呢，并且着重于四大维度的发展变化哦：有着极致的简洁的特性呀，是从微调转换到预训练的进程呢，具备与高性能推理引擎相交互操作的性能哟，以及把量化提升成为核心功能啦。

简洁性

团队的首要关注点是简洁性。

拥抱脸期望模型的集成样式是洁净、明晰的。精简性能够引发更广泛的规范化、更强的通用性，以及更周全的生态支撑 。

新增模型

从根本性质来讲，Transformers一直以来都是一种模型架构的工具集合，Hugging Face设立的目标是将所有最新的模型架构收纳进来，并且要成为模型定义方面唯一能够让人信赖的源头。

在过去的五年之中，平均每一周，会增加一至三个全新的模型，其时间线索，类似下面所呈现的图形：

于过往的一整年当中，Hugging Face竭力去推进模块化的设计，这般的方式致使维护更加的简易， integration速度加速，并且能够推动社区之间的合作。

总是尊崇「一个模型，一个文件」的那种哲学之际，Hugging Face 却持续引进一些抽象层，目的是简化通用辅助函数的管理。这之中最具代表性的例子是引入了 AttentionInterface，它给注意力机制创建了一个集中的抽象层。建模文件会保留 Eager 方法；FA1/2/3 (FlashAttention)、FlexAttention 或者 SDPA 等其他方法，则被转移到该接口里。

Hugging Face也在全力进行工具的构建，其目的在于协助识别某一新模型跟现有模型架构之间所存在的相似性，此功能借助机器学习达成，是去发现不同模型文件之间的代码相似度的 。

进而讲来，Hugging Face期望使模型转换流程达到自动化状态：倘若存在新模型要被整合至Transformers里时，系统会自动生成一个草稿PR（即Pull Request），并且把它转变为契合Transformers格式的版本。

这一流程将减少大量手动工作，并确保整体的一致性。

代码精简

“拥抱脸”针对建模的文件，以及和标注关联的文件，同样实施了大规模的重构 。

承蒙前面文中所提及的模块化办法因而受益，再加上针对不同模型之间予以统一的标准化措施，建模文件获得了显著的优化改进使其得以改善。标准化致使诸多实际上并不真正归属于模型本体的工具全都抽象剥离出去，进而使得建模代码仅仅预留出模型前向以及反向传播所必需的核心部分 。

同一时间范围内，正在被 v5 简化着的有 tokenization和另外那用于处理的称为文件项，日后只去潜心专注紧着眼眸着重于 tokenizers的这后续组成部件的后端部分，还排除消去了Fast tokenizer以及Slow tokenizer此种两个概念 。

图像处理器往后也只会留存 fast 版本，这些版本依靠 torchvision 当作后端 。

到了后来，v5 会渐渐地不再提供对 Flax / TensorFlow 的支持，然后转过头来倾心于 PyTorch 作为单独的后端；然而团队也正在跟 JAX 生态合作伙伴一起合作，以此来保证模型能够跟这个生态相互兼容。

PyTorch基金会执行董事，同时还有Linux基金会AI部总经理Matt White宣称，伴随v5版本予以发布，Transformers正全方位朝着PyTorch转变 。

训练

对于 v5 版本相关的训练 依旧是团队工作所着重的要点所在，在这之前 Hugging Face 所专心致力于的是微调 而并非着重于大规模的预训练以及全面充分的完整训练，v5 版本则是在此基础上加大了对于后者的支持力度 。

预训练

凭借全新设计的模块，Hugging Face基于预训练支撑需求，对模型初始化方式予以重新规划，并且添加了前向传播以及反向传播优化算子的支持。当下，它在v5版本里，同别的运算机制工具达成了更丰富的整合，其中存有torchtitan、megatron以及nanotron等。

微调与后训练

拥抱脸宣称会持续跟Python生态体系里的全部微调工具维持紧密相助，并且于彼时于同一时间，拥抱脸还在和JAX生态之内的MaxText等工具达成兼容，目的在于保证它们这个框架跟变形金刚之间拥有优良融洽协作性能的具备。

此刻，全部的微调和跟训练工具能够都以Transformers作为其模型定义所来自之处进行仰仗，对于支持更多的Agentic应用情景方面，这还可以借助OpenEnv或者Prime Environment Hub来深层次贯彻落实 。

推理

重点方向之一是推理方面的优化里 v5 的范畴，Hugging Face 产生了多项属于范式级别的更新，其中呈现出专用内核样式，有着更干净的默认设置情形；给出了新设的 API；在对推理引擎的支持上也进行相关情况的优化 。

除此以外，如同训练阶段那般，Hugging Face同样耗费了诸多精力用于封装推理内核。

在这项工作之外，他们还为推理新增了两个专用 API：

在v5进行更新期间，Hugging Face很明确地强化了对于推理场景的支持，特别是那种像模型评估一类需与此同时处理好多请求的任务 。

需要留意一下，Transformers v5 的定位并非是去替代就像 vLLM、SGLang、TensorRT-LLM 这类的专业推理引擎。与之相反，它们的目标是要和这些引擎达成兼容 。

生产环境

本地部署

团队跟最流行的推理引擎紧密开展合作，这样一来就能够把Transformers当作后端来予以使用。这有着显著的价值，只要有某个模型被增添到Transformers当里时，它便会马上在这些推理引擎当中可以被使用，与此同时还能够充分地将各引擎的优势给利用起来，像是推理优化、专用内核、动态批处理等 。

此外，Hugging Face正相与ONNXRuntime、llama.cpp以及MLX展开紧密合作，以此来保证Transformers跟这些建模库之间存有良好的互操作性，比如说，因社区的诸多努力，如今在Transformers里加载GGUF文件以作进一步微调变得甚是简便。与上述情况相反，能够以较为容易的方式，把Transformers模型转变、更换成GGUF文件，从而能够用在llama.cpp这个程序里面，供其使用。

对此 MLX 来讲同样是这样的情况，transformers 的 safetensors 文件能够直接与 MLX 的模型相互兼容。，。

最晚，Hugging Face 同样在促使本地推理的界限，并且跟 executorch 团队极为紧密协作，以使 Transformers 模型能够于设备端径直运行，对多模态模型（视觉、音频）的支撑同样在迅速拓展里。

量化

对于构建许多具备 SOTA 能力的模型而言，量化正快速地演变成当代处在前沿及领先层级开发中的标准，这些模型现在常常是以低精度格式来发布的，像 8-bit 和 4-bit 就是这样的格式，举例说说特定型号比如 gpt-oss、Kimi-K2、DeepSeek-R1 也是按照这种低精度格式作为实例来发布的 ！

紧紧跟随着技术前沿的脚步，v5 把量化当作 Transformers 的核心能力当中的一项能力，以此来确保它能够跟主要功能达到完全的兼容匹配，且为训练以及推理供给一个可靠的量化框架 。

供参考的链接为，https://huggingface.co/blog/transformers-v5 。