#PACK3D

做 3D 视觉或体数据建模的可以看看：这篇指出了 packed attention 学到内存布局而非几何的坑，PACK3D 用真实坐标的轴向 RoPE 解决，还有 Triton 实现，65k token 下速度和窗口注意力一样快。