用 TRL 和 OpenEnv 训练编码模型绘制水彩画
作者用 TRL 和 OpenEnv 复现了让编码模型写 JavaScript 绘制水彩画的训练流程,并公开了参考池数据集、RL 环境、训练脚本和训练模型。流程让模型通过 p5.brush 生成约 150 行 JavaScript,用 gate、长度、pairwise judge 和 HPSv3 组成奖励,其中参考池包含 178 幅由作者手工评级的模型生成画作。
推荐理由:文章把审美奖励训练拆成数据池、环境、评审模型和成本,适合作为复现同类实验的工程参考。