技巧

KerasHub+JAX+TPU 做 LLM 后训练实验

精选理由

Keras 作者 Chollet 在 TPU 上拿 KerasHub+JAX 玩 LLM 后训练,说可能开源,想跟进后训练工具链的可以蹲一下。

Keras 作者 François Chollet 在 X 上表示,他正用 KerasHub 搭配 JAX 在 TPU 上做一系列 LLM 后训练实验。他提到实验范围较广,并考虑将其中部分内容开源。帖文未给出具体模型、数据集或基准成绩。

原文 · François Chollet

I've been having a lot of fun trying a wide range of LLM post-training experiments using KerasHub + JAX + TPUs. Might open-source some of that