技巧

本地运行小模型:@thewebAI 推出 8.8B 参数模型的 Mac 应用

精选理由

@thewebAI 出了个 8.8B 的小模型,还配了 Mac 应用,本地就能跑,成本比大模型低得多,感兴趣可以试试。

小模型在本地电脑上可以做很多事情,成本只有大模型的零头。@thewebAI 发布了一个 8.8B 参数的模型,性能可与更大模型竞争。团队还推出了配套的 Mac 应用,用户可以直接在自己电脑上运行。这条推文的核心是推荐用本地小模型替代云端大模型来完成多数任务。

原文 · Ate-a-Pi

There are 10,000 things you can do with small models running on your local computer.

Many small models today compete very well with larger models at a fraction of the cost.

@thewebAI released an 8.8B-parameter model that's a dream, and now they have a Mac app that you can run on your computer.