MIT 推出 OPAL：AI 智能体在训练中实时改写优化器源码
精选理由
MIT 把 AI 智能体塞进了优化器，训练时自己改自己的代码来防 loss 尖峰，搞训练的可以看看
MIT CSAIL 研究人员开发了 OPAL，一个由 AI 智能体驱动的深度学习优化器。该智能体在神经网络训练过程中持续观察训练动态，并随之重写优化器自身的源代码。OPAL 在视觉与语言两类任务上提升了模型性能，会自动发明专用的学习率调度策略，还能发展出防止 loss 尖峰和跳出过拟合的应对方法。代码已开源，可直接试用。
原文 · MIT CSAIL
What if an optimizer could think & react while a neural network trains?
MIT researchers developed OPAL: a deep learning optimizer powered by an AI agent that watches the training dynamics & rewrites its own source code as training goes. It improves model performance across vision & language tasks, invents specialized schedules, & develops strategies to prevent loss spikes & escape overfitting: https://t.co/plbPd782Qu
Try it out for yourself: https://t.co/xOpVaThy7X
