应用介绍
除了上述问题，还有研究者质疑了使用汉诺塔这类知名谜题测试推理能力的合理性。他指出，如果担心数学和编程基准存在污染问题，为什么要选择解决方案已知存在于训练数据中的著名谜题？汉诺塔算法在模型训练数据中反复出现，给模型提供算法当然不会有太大帮助——模型已经知道算法是什么。此外，推理模型经过了数学和编程的专门训练，而不是谜题训练。有用户指出这就像说“语言模型在写彼特拉克十四行诗方面没有比 GPT-3.5 好多少，所以我认为没有取得真正的进步”。
除了上述问题，还有研究者质疑了使用汉诺塔这类知名谜题测试推理能力的合理性。他指出，如果担心数学和编程基准存在污染问题，为什么要选择解决方案已知存在于训练数据中的著名谜题？汉诺塔算法在模型训练数据中反复出现，给模型提供算法当然不会有太大帮助——模型已经知道算法是什么。此外，推理模型经过了数学和编程的专门训练，而不是谜题训练。有用户指出这就像说“语言模型在写彼特拉克十四行诗方面没有比 GPT-3.5 好多少，所以我认为没有取得真正的进步”。
