1. 首页>>分享

腾讯HY4大模型开源!770B参数,1M上下文,编程和办公性能飙升

这次, 腾讯HY4实实在在地登上桌了, 真真正正踏入国内开源旗舰的第一梯队了。从官方所展示的演示视频去看, 效果的确还行, 尤其是在Coding Agent方面, 以及工具调用方面, 还有长任务执行方面, 以及办公生产力方面。

先看模型本身,有明显的效果提升

Hy4 preview, 是一个有着770B总参数、49B激活参数的MoE, 其上下文能够直接做出1M Token, 在770B总参数、40B激活参数、1M Token方面, 和Hy3的295B / 21B / 256K相比, 基本上呈现出一种成倍数的增加状态, 由于目前官方并未给出架构图, 所以我借助大模型绘制了一个。

这个架构也挺有意思的

也即是说, 它显著吸纳了过往一年, 深度探索、通用语言模型这条路径里历经验证具有成效的事物: 大型混合专家 + 稀疏注意力 + 超连接 +元模型调优。

因而, Hy4予我的感受是, 将开源模型的长处予以整合, 再度进行组合、予以放大, 随后大力开展了一番预训练以及后训练。

这种路线其实挺腾讯的。

它不一定非得在某个架构创新方面达成“全世界第一个”, 然而, 腾讯实际所具备优势的, 却是数量众多的真实的研发场景, 以及办公场景, 还有游戏场景, 以及安全场景, 以及Agent场景。只要底座能力足够强大, 此后便能够持续凭借真实任务去打磨模型。

模型Agent能力明显提升

官方所公布的数据当中, 我个人认为存在着几个结果, 这些结果相比于普通数学基准测试而言, 更具备值得予以关注的特性:

特别是, DeepSWE从Hy3的28.0提升至64.3, 这般提升极为夸张, 另外, 存在几个颇为关键的要点。

可是也能够瞧见, Hy4并非完全达至全面SOTA。比如说, ProgramBench仅仅只有17.5 , Claude Opus 5却达到了39.5 ;在DeepSWE上, Hy4也显著地落后于Kimi K3以及Claude。于纯文本HLE方面, Hy4是43.4 , 然而Claude / GPT - 5.6 Sol分别达成了53.2 / 49.6。

腾讯内部, 另外找来了163名是内部专家的人员, 针对203个属于真实工程任务进行相关的盲测哟:

差距处在0.05至0.07分之间, 并且在面对GLM 5.3时, Hy4仍有40.4%的任务失败了。Hy4已然顺利进入GLM 5.3、Kimi K3这一水平层级, 然而还是存在一定程度的差距。不过这本身已然是一个极为显著的变化。

在Code Arena: WebDev里, 排名处于约#5的位置, 得到了1633分, 此分数通过AutoEval获得。

这属于从Hy3自身整体#31位(再加上115分)所呈现出的一个极为明显的进步!于那些开源模型里, Hy4 preview版本的排名大致处于~#3的位置, 然而Hy3却处于#7的位次。

实际体验反而比 Benchmark 更有意思

而今, 相对较为完整的一回提前实测, 是于WorkBuddy当中开展的。

有一种很典型的例子, 那就是去做Art Deco风格的网站, HY4当中, 存在着明显的, 先进行计划, 而后再去做的思考在里面。

查看环境状况, 进而开展任务规划, 接着去进行开发工作, 随后予以运行, 再去查看运行结果, 之后查找 JS Bug, 找到后加以修改, 修改完毕再次进行验证, 最终完成交付。

经过实际测试, 它自行察觉到并且修复好了高亮显示方面的错误以及 JS 出现崩溃的情况, 并且在最终阶段, 前端的视觉一致性显著地优于 Hy3。

夸张程度更甚的是, 有人曾直接使它去制作一款游戏, 一款呈现低多边形风格的3D开放世界游戏。

_Hy4 Preview 实测:腾讯这次把大模型重点押在了 Agent 上_Hy4 Preview 实测:腾讯这次把大模型重点押在了 Agent 上

模型持续运行了大概 1 小时, 最后交出了一个约 10MB 大小的多文件项目,其中涵盖了:

并且, 在这个过程当中, 会由自身去操控角色, 进行截图。之后, 借助视觉工具, 去查验采集机制究竟有没有产生效果。

施瓦西黑洞在进行测试, Hy4 preview呈现出的表现相当出色, 并且完成该测评的模型数量不多, 与此同时, svg能够具备动态效果了。

展示一个经典的3D 飞机发动机引擎Case

要用Three.js去开发一款跟JigSpace类似的3D交互式展示应用,这个应用主要是用来展示有关大爆炸理论以及机械机构的运作原理的, 核心场景是飞机发动机引擎的可拆解展示情况, 用户能借助鼠标拖拽, 还有用滚轮缩放等交互运作方式, 一层一层地拆解引擎各个部件, 进而查看其内部结构, 并且还配备有工作原理的动态演示效果。如下要求, 模型设计要高度还原真实引擎结构, 要支持部件高亮标注以及信息提示;交互要流畅自然, 要具备相机自动聚焦、爆炸视图、单部件隔离查看等功能;界面UI要简洁现代, 适合技术展示以及教学场景。

还有一个非常现实的问题:770B 太大了

虽说每一个 Token 仅仅激活 49B, 然而, 对于 MoE 的显存占用而言, 所考量的是 770B 权重, 并非 49B 激活参数。

BF16权重大致粗略来讲是处于1.5TB级别范围这样一种情况。就算是面对FP8, 它也是大致十分接近0.8TB权重规模这般一种状态。

官方针对 FP8 版本直接作了发布, 与此同时, vLLM / SGLang 官方部署方案默认给出了 TP = 8 + MTP 推测性解码这种情况, 此情形会对 Hy4 开源权重实际的普及程度产生限制。

目前 OpenRouter 给出的价格是:

有一个输入, 其数值是每兆为零点八三四, 还有一个输出, 每兆的数值是二点五零一, 另外存在缓存, 每兆的数值是零点零四二。

国内公开价格则是:

若以6元每M的数值进行输入, 以18元每M的数值予以输出, 缓存命中的情况则是0.3元每M。

针对一个有着770B规模, 49B处于活动状态, 拥有1M上下文环境这样条件构成的旗舰型号而言, 这般的价格的确是稍微有些昂贵贵了些, 此情况对着刚冒出来现身的glm - 5.3 - flash模型看去实际是要更贵那么一丢丢的。

写在最后

混元最终开始构建起自身的打法, 并非追求在单轮Chatbot方面占据第一的位置, 而是依据腾讯内部实实在在的工程, 以及游戏、安全、金融、办公等场景, 朝着 agent 生产力 的方向对模型展开训练。

这一路线实际上相当适配腾讯, 腾讯最为不缺少的便是诸多真实经营场景, 还有工程师以及专家反馈。

Hy4真正有可能构建起壁垒的方位之处, 说不定并非是某一种架构方面的创新, 关键在于正是因为它背后有着腾讯的支撑。每日都会生成大量实实在在的用户运用模型去开展工作, 而后又将这些工作流程反转过来运用到后续的训练当中。

Hy4预览版, GLM 5.3, Kimi K3, DeepSeek V4 Pro, 大致处于同一个梯队, 在不同的Agent任务之上, 各自有着优势。

若是正式版可以处理过度思索、自我验证循环以及执行效率方面的问题, 那么它相较于当前这个Preview会更值得予以关注。

本文采摘于网络,不代表本站立场,转载联系作者并注明出处:https://mjgaz.cn/fenxiang/280755.html

联系我们

在线咨询:点击这里给我发消息

微信号:13588888888

工作日:9:30-18:30,节假日休息