GenEval是生成式AI模型评估框架，用于系统化评估多模态生成模型的能力与局限。随着生成式AI技术的快速发展，GenEval已成为学术界和工业界关注的重要研究方向。
GenEval 近期进展
2024年6月，研究人员提出了DrPO，一种一步生成模型偏好优化的新方法，为GenEval提供了更高效的评估工具。该方法通过分解可验证奖励，使模型能够自反思并改进生成质量。DrPO：一步生成模型偏好优化的新方法
同年5月，AlphaGRPO框架被提出，利用分解可验证奖励解锁多模态生成自反思能力，显著提升了GenEval在复杂场景下的评估准确度。该研究已在arXiv上发表，获得了学术界的广泛关注。AlphaGRPO：用分解可验证奖励解锁多模态生成自反思能力
STAR方法于2024年6月提出，采用时空自适应奖励分配技术，为文本到图像RL后训练提供了新的评估维度，丰富了GenEval的应用场景。这种方法特别关注生成结果的时空一致性评估。STAR：时空自适应奖励分配用于文本到图像RL后训练
当前焦点与观察点
GenEval当前面临的主要挑战是如何平衡评估的全面性与效率。随着模型参数量的增加，从字节跳动的3B参数轻量多模态模型Lance，到更大规模的生成系统，评估所需计算资源呈指数级增长，限制了GenEval的广泛应用。
GenEval的发展趋势正朝着多维度、自动化方向演进。研究人员开始探索将人类偏好与自动化指标相结合的混合评估方法，以提高评估的准确性和可解释性。同时，跨模态评估能力的增强也成为GenEval的重要发展方向，使其能够更全面地评估生成模型的真实能力。
争议点主要集中在评估标准的统一性上。学术界尚未形成统一的GenEval评估标准，不同研究团队采用的评估指标和基准数据集存在差异，导致研究结果难以直接比较。这一问题的解决需要行业共同努力，建立更加规范、透明的评估体系。