DGX Spark硬件与本地智能体电脑成消费前沿代币的门户

Denis Yarats在Perplexity表示，他们探索了本地模型向远程前沿模型进行顾问升级的简单实例，展示了这可以显著提升本地模型的性能。本地模型作为远程模型的**门户**，主要任务是对所有原始代币进行预处理，将它们打包成更少、信息更密集的代币，并将这些代币发送到服务器。这种预处理降低了成本和延迟，实现了个性化，并允许隐私控制。目前，这种方法可以节省50%的代币，但想象一下，未来90%以上的代币在本地处理，只有10%发送到服务器进行最后一英里最艰难的推理，这将实现10倍的成本降低和更低的延迟带来的更愉悦的用户体验。训练这样的多智能体系统并不容易，但仍需在多智能体强化学习上进行大量研究，他们正在取得进展并积极招聘。