根据金融报道，OpenAI表示，它训练了一种基于GPT-4的模型，叫做CriticGPT，用于捕捉ChatGPT代码输出中的错误。在我们的RLHF中，类似CriticGPT的模型开始集成，为OpenAI的培训者提供明确的人工智能帮助。该计划进一步扩大RLHF在GPT-4中的应用规模，并将其付诸实践。
