腾讯混元Hy4预览版在vLLM运行

腾讯混元Hy4预览版可在vLLM环境中运行，已在NVIDIA GPU上验证。该模型总参数770B，激活参数49B，包含256个路由专家和一个共享专家。上下文长度为1M，但每个查询仅关注2048个token。模型中仅21层计算稀疏索引，其余57层复用同一索引。