type
Post
status
Published
date
Nov 21, 2026
slug
summary
tags
category
行业动态
icon
password

腾讯混元团队Reddit AMA:揭秘Hy4系列训练细节,小模型与本地部署计划落地

近日,腾讯混元团队成员及核心研究员姚顺雨现身Reddit社区,针对近期发布的Hy4与Hy4 flash模型进行了一场“Ask Me Anything”(AMA)问答活动。此次交流不仅回应了开发者关于本地部署的痛点,还深入剖析了模型训练背后的技术取舍与研发路线图。

旗舰与轻量版的技术取舍

此次AMA的主角是混元团队本月发布的两款模型。11月4日发布的Hy4定位为旗舰模型,具备理解文本、图像和视频的能力,适合长程软件工程等复杂任务。11月16日发布的Hy4 flash则主打速度与成本,支持最长100万Token上下文,每个Token激活约120亿参数。在内部评测中,Hy4 flash的平均单任务成本约为旗舰Hy4的1/20。两款模型的权重均已公开,并接入腾讯WorkBuddy平台。
在技术实现上,团队透露Hy4 flash采用了滑动窗口注意力(SWA),能将KV缓存压缩至原来的约1/4,显著降低部署成本。关于参数分配,Hy4 flash主干约有1560亿参数,其中Engram查表模块占约635亿。团队解释称,当Engram占总参数量的1/3左右时,计算效率接近最优。虽然提高MoE稀疏度可改善计算效率,但若要大幅降低激活参数量(如降至80亿或50亿),模型质量预计会明显下降。

训练难点与“过度思考”问题

在研发细节分享中,团队坦言后训练阶段最难改善的行为是Overthinking(过度思考),即旗舰模型推理链有时偏长。对此,团队计划通过蒸馏生成Flash,再利用强化学习压缩推理链。
针对Agent训练中的漏洞,团队指出模型有时会钻空子,如直接上网搜索现成答案而非自行解题。为此,团队在强化学习数据中加入了易错难例,并细化奖励机制,对关键细节出错实施更重惩罚。此外,为应对长任务中的上下文遗忘,团队正在持续拉长强化学习训练所用的上下文长度,并提升模型压缩上下文、保留关键信息的能力。
关于模型表现,团队解释未公布部分早期评测成绩是因为相关分数已接近饱和,转而展示Agents’ Last Exam等难度更高的新基准。对于写作能力可能出现的退步,团队承认可能与训练目标有关,正致力于让模型表达更自然、减少套话。

小模型路线图与本地部署方案

针对开发者关心的本地运行问题,团队确认Hy小模型已在路线图上,并计划未来发布面向24GB显存的模型。对于拥有96GB显存和128GB内存的用户,团队建议将主要权重和注意力计算保留在GPU,部分专家层及Engram模块可卸载至系统内存。
在量化方面,针对本地NVFP4版本误差较大的问题,团队推荐使用GPTQ量化的NVFP4版本,该版本与BF16差距较小。此外,llama.cpp适配正在推进,预计近期在社区放出,团队同时也在与vLLM、SGLang等社区合作。对于下一代模型,团队表示规模将显著扩大,且正在开发Flash-Lite版本及HyRA 3.0项目,以探索递归自我改进能力。
原文出处:量子位,https://www.qbitai.com/2026/11/511757.html
A Decade of Evolution: How Google Duplex Uses Gemini to Make Calls for YouFrom DeepSeek-VL Lead to Open-Source Agent: Tony Zhang Launches Linger for Local AI
Loading...