PBit1:每个参数用一个可编程 p-bit 表示预训练网络
这篇论文把每个权重换成单个概率型 p-bit,用时间观测重建原网络,GPT-2 和 LFM3 困惑度只涨 0.66% 和 0.26%。对研究概率计算、新型存算硬件的人来说是个很具体的构造方案,做 THRML 硬件实验的团队尤其该看。
这篇论文把每个权重换成单个概率型 p-bit,用时间观测重建原网络,GPT-2 和 LFM3 困惑度只涨 0.66% 和 0.26%。对研究概率计算、新型存算硬件的人来说是个很具体的构造方案,做 THRML 硬件实验的团队尤其该看。