Hinton 承认 Ilya 主张的规模化路线是对的

Geoffrey Hinton 表示，Ilya Sutskever 坚持答案是把模型做大，他当时觉得太简单，认为需要新想法和新架构。他承认架构确实有帮助，但数据和算力的规模才是最关键因素。他指出当初没预料到计算机会快约十亿倍，而非预期的 100 倍。两人 2012 年与 Alex Krizhevsky 搭建的 AlexNet 在两块 NVIDIA 游戏显卡上训练了五到六天，如今同样的思路跑在价值数十亿美元的数据中心上。