#混合架构

共 4 条 · 7 天 0 条 · 30 天 1 条

信息流里打上「混合架构」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月23日

AWS 把现成 Transformer 权重改造成稀疏注意力混合模型，成本不到原训练的 1%，吞吐量翻倍，8B 和 32B 版本已放出。

官方账号Amazon Science@AmazonScience原文

8月24日

Tydra模型在保持预测性能的同时大幅降低推理时间，比Hydra模型更高效。

arXiv cs.LG@Mieszko Komisarczyk 等 5 人原文

5月28日

论文精选72°11:59

Oryx 解决了长上下文检索与高效生成的矛盾，做序列建模或大模型架构的开发者可以直接参考其共享参数设计思路，值得关注。

arXiv cs.LG@Kevin Y. Li 等 4 人原文

5月13日

做 OCR、视觉或音频处理的团队，终于有了一个又准又快又便宜的替代方案——Interfaze 用混合架构把通用大模型的痛点解决了，建议直接看博客跑一下自己的用例。

berryxia@berryxia原文