微软推出“从错误中学习”模型训练法

前沿科技
分享至
评论

  微软亚洲研究院联合北京大学、西安交通大学等高校,提出了一项名为“从错误中学习(Learning from Mistake,LeMA)”的AI训练方法,号称可以通过模仿人类学习知识的过程,来改进AI推理能力。

  研究人员的方法是使用一对包含“错误解答”与“修复后正确答案”的数据来微调相关模型。为取得相关数据,研究人员收集了5个不同大(包括LLaMA及GPT系列)的错误答案和推理过程,再以GPT-4作为“订正者”,提供修复后的正确答案。

  研究人员表示,LeMA方法能够有效地提高的推理准确率,在多个自然语言推理任务上取得了显着的改进。

  LeMA方法的优势在于,它能够利用自身的错误来进行学习,从而提高模型的泛化能力。传统的AI训练方法通常需要大量的标注数据,而LeMA方法只需要少量的错误数据即可。

  LeMA方法的应用前景广泛,可以用于提高在各种自然语言推理任务中的性能,例如问答、机器翻译、文本摘要等。

THE END

数码评测