Strata是一项开源AI模型优化技术，能够让1250亿参数的大语言模型在仅12GB显存的消费级显卡上本地运行。这项技术通过模型压缩和优化算法，大幅降低了大型AI模型的硬件门槛，使个人开发者也能体验前沿AI能力。
Strata 近期进展
125B参数的Qwen3.8-Flash-Next模型现在可通过Strata在12GB显存显卡上运行，开源引擎 Strata 让 12GB 显卡跑 125B Qwen3.8-Flash-Next。Qwen3.8-Flash-Next模型结合480KB控制向量后，可实现本地部署并减少拒答问题，Qwen3.8-Flash-Next 加 480KB 控制向量，本地部署减拒答版本。Strata技术将模型推理速度提升近十倍，单卡达到2200 prefill/67 decode的处理能力，Qwen Flash 本地部署速度提升近十倍：单卡达到 2200 prefill / 67 decode。研究人员还提出了Q-Strata混合精度量化新方法，进一步优化模型性能，Q-Strata：混合精度量化新方法。
当前焦点与观察点
Strata技术的出现标志着大模型本地化的重要突破，使原本需要高端服务器才能运行的AI模型能够降级到消费级硬件。这一技术不仅降低了AI开发门槛，还提高了数据隐私保护能力，因为模型可以在本地运行而不需要上传数据。然而，模型压缩可能带来性能损失，如何在压缩率和性能之间取得平衡仍是研究重点。随着更多类似技术的涌现，大模型生态将更加多元化，普通用户也能享受到更强大的AI能力。未来，Strata技术可能进一步优化，支持更大规模模型在更低配置设备上运行，推动AI民主化进程。