索尼申请专利：用 AI 在 GPU 渲染完成前预测下一帧，缓解游戏卡顿
索尼新专利曝光：AI 可在 GPU 渲染完成前预测下一帧画面，减少游戏卡顿
索尼的专利挺有意思：AI 不等 GPU 渲染完就预测下一帧，比传统帧生成少等一帧，玩游戏卡顿可能会更少。
据 TechSpot 10 月 18 日报道，索尼申请了一项新专利，让 AI 在 GPU 完成渲染前预测下一帧画面。传统帧生成需要等待两帧画面渲染完成后才能插入中间帧，该方案改为直接利用已生成画面预测下一帧并插值。系统通过联合训练的编解码器将渲染画面转换为嵌入表示，并与图形渲染管线并行工作，同时结合运动矢量和玩家手柄操作历史来预测下一帧动作。实际效果取决于 AI 能否快速生成准确画面，在渲染速度下降时填补帧间隙。
索尼新专利曝光：AI 可在 GPU 渲染完成前预测下一帧画面，减少游戏卡顿
IT之家 10 月 18 日消息，据科技媒体 TechSpot 今天报道，索尼最近申请一项专利，描绘以下场景：让 AI 在 GPU 完成渲染前预测下一帧画面，减少游戏画面卡顿，同时避免帧生成技术带来的额外延迟。 IT之家从原报道获悉，这项技术能够解决帧生成的缺点，让显示画面不再等待两帧画面完成渲染，才能生成插入其中的中间帧。 而是直接利用已经生成的画面预测下一帧 ， 无需等待两帧画面就能插值 ，帮助游戏维持更稳定的帧输出节奏。 同时，索尼使用了联合训练的编解码器，将渲染完成的画面转换为嵌入表示，对图像进行紧凑的数值化表达，让解码器利用这些提示生成预测帧。游戏运行时， 该系统会与图形渲染管线并行工作 。硬件渲染下一帧时，AI 会处理上一帧，并将预测结果发送至显示缓冲区。 因此在下一帧完成渲染之前 ， 预测画面就有可能先行显示 。 此外，该系统还可利用运动矢量和玩家近期的手柄操作。使玩家操作角色的历史，成为下一帧动作预测的根基。该系统训练过程使用连续的视频帧。神经网络最初采用随机初始化的权重，以一帧画面作为输入，并尝试预测下一帧。随后，系统会将预测结果与实际的后续画面进行比较，并计算一个用于衡量预测误差的损失值。 不过这项技术能否发挥实际作用，取决于 AI 能否迅速地生成准确画面，从而在渲染速度下降时填补帧输出间隙。