腾讯混元团队正式开源 Hy3 量化版本。Hy3 总参数量 295B，BF16 权重接近 600 GB，需多卡服务器部署。针对社区对单卡运行的需求，Hy3 权重量化至 1bit 与 4bit 并打包为 GGUF，配合 llama.cpp 生态部署。1bit 版本（IQ1_M）将权重从 598 GB 压缩至 85.5 GiB，单张 96 GB 推理显卡即可运行；4bit 版本（Q4_K_M）体积 169.9 GiB，两张显卡可承载。同时提供 GPTQ Int4 版本，支持通过 vLLM 直接部署。

开源地址：

Hy3 模型：

https://modelscope.cn/models/Tencent-Hunyuan/Hy3

GGUF 量化模型：

https://modelscope.cn/models/AngelSlim/Hy3-GGUF

GPTQ Int4 量化模型：

https://modelscope.cn/models/AngelSlim/Hy3-GPTQ-Int4

 

从600GB到单卡

Hy3 上线并开源后，社区一直在呼吁量化版本，希望单卡跑起 295B 的 Hy3。

大家都在讨论，能不能在配置有限的机器上，把这样的旗舰模型也跑起来体验一下，哪怕在精度上做一些让步。为此， 腾讯混元团队针对开源社区需求，把 Hy3 的权重量化到 1bit 与 4bit 并打包成 GGUF，配合 llama.cpp 生态，让原本只能跑在多卡集群上的模型，最少一张推理显卡、乃至内存充足的本地机器也能跑起来。

从模型上看，腾讯混元 Hy3 是一个 295B 参数的旗舰模型，展现出显著强于同尺寸模型的智能水平，并比肩更大尺寸旗舰模型的效果，大幅提升了在各类产品和生产力任务中的实用价值，但是它的 BF16 权重接近600 GB，要完整发挥实力，离不开多卡服务器这样的部署环境。

1bit, 4bit 以及 BF16 Hy3模型 游戏编程示例

 

1bit塞进单卡，4bit接近满血

首先提供了 1bit 极限量化版本 IQ1_M，把权重从 598 GB 一路压到 85.5GiB，整整缩小了 6.7 倍。这意味着一张 96GB 的推理显卡就能部署。对于硬件最受限、又想在本地把旗舰模型跑起来的场景，Hy3 1bit 版本是推荐的。

同时，也提供了 4bit 量化版本 Q4_K_M，体积 169.9GiB，两张推理显卡即可承载。如果目标是在有限资源成本内拿到更接近满血模型的效果，就选 Hy3 4bit 版本。

 

 

 

此外还提供了 GPTQ Int4 版本，它可以直接通过 vLLM 部署对外提供服务，天然享受 vLLM 生态在高并发、低延迟上的红利，更贴合服务端部署的需求。

 

压下去了，能力却没塌

 

 

判断量化好不好，最直接的是看它和原始模型的输出分布有多接近。4bit 版本在这一点上表现得相当出色，绝大多数位置上给出的首选答案以及Top-K 概率分布都和BF16模型保持一致。落到实际任务上同样如此，无论是Agent能力，多语言代码、工具调用，还是长文理解，成绩都贴近满血模型。除此之外，GPTQ Int4模型在评测集上的掉点幅度也非常有限，整体完全在可接受范围内。

 

 

 

令人意外的是 1bit 版本。按直觉，压到 1bit 附近模型多少会变笨，但Hy3 1bit 版本在主流任务上依然站得很稳。长文理解几乎和原始模型持平，agent 与代码方向也保持得相当好，只有小幅回落。放到日常的编码辅助、工具调用、长文档处理和常规问答任务上，它已经完全够用。

 

MTP加速解码

 

 

 

要让 Hy3 真正跑顺，MTP投机解码必不可少。为此专门开发了llama.cpp 的patch，补齐了对 Hy3 模型结构的 MTP 的支持，并直接发布了可用的构建与部署指引https://huggingface.co/AngelSlim/Hy3-GGUF。开启 MTP 后，接受率稳定在60%左右，1bit 版本的解码速度提升约50%，4bit 版本提升接近60%， 实际交互体验依然流畅。

 

本地部署教程

Hy3 量化版本通过 llama.cpp 生态部署。以下是构建脚本的部署指引，支持 CUDA 和 CPU 构建，并内置 MTP 投机解码支持。

构建

bash setup_hyv3_llama.sh                    # 克隆到 ./llama.cpp-hyv3，自动检测 CUDA/CPU
bash setup_hyv3_llama.sh /path/to/target    # 指定克隆目录
CUDA=0 bash setup_hyv3_llama.sh             # 强制 CPU 构建

脚本会锁定经过验证的 llama.cpp 基线 commit，依次应用 patches/01（基础架构）和 patches/02（MTP + parser），然后编译。二进制文件输出到 /build/bin/。

启动服务

推荐硬件配置

 

IQ1_M 权重约 83 GiB，Q4_K_M 约 166 GiB（MTP 额外增加约 2 GiB 及 draft KV cache）。单卡仅能运行 IQ1_M，需控制上下文长度并量化 KV cache，不开启 MTP。双卡可运行 IQ1_M + MTP，Q4_K_M + MTP 建议保持 65536 上下文和 q8_0 KV cache。四卡可舒适运行 Q4_K_M + MTP。

 

自定义量化

如果有校准数据集，可以自行计算 importance matrix 并量化模型。所有步骤使用 llama.cpp 原生工具，混合精度配方和 minja 兼容的 chat template 已包含在仓库中。

# 1. 转换模型为 BF16 GGUF
PYTHONPATH=./llama.cpp-hyv3/gguf-py python ./llama.cpp-hyv3/convert_hf_to_gguf.py /path/to/HYV3-hf --outfile Hy3-BF16.gguf --outtype bf16

# 2. 计算 importance matrix
./llama.cpp-hyv3/build/bin/llama-imatrix -m Hy3-BF16.gguf -f calib.txt -o imatrix.gguf --output-format gguf --parse-special

# 3. 按配方量化（以 Q4_K_M + MTP 为例）
./llama.cpp-hyv3/build/bin/llama-quantize --imatrix imatrix.gguf --tensor-type-file recipes/hyv3_q4km_mtp_recipe.txt --token-embedding-type q8_0 --output-tensor-type q6_K Hy3-BF16-mtp.gguf Hy3-Q4_K_M-mtp.gguf Q4_K_M
点击阅读原文，即可跳转模型链接~