应用介绍
不过，已经有研究基于 Muon 优化器进行了改进，比如月之暗面在 Muon 中引入了标准的 AdamW（Loshchilov 等人，2019）权重衰减机制。结果表明，带权重衰减的 Muon 优于原始 Muon 和 AdamW，获得了更低的验证损失。
不过，已经有研究基于 Muon 优化器进行了改进，比如月之暗面在 Muon 中引入了标准的 AdamW（Loshchilov 等人，2019）权重衰减机制。结果表明，带权重衰减的 Muon 优于原始 Muon 和 AdamW，获得了更低的验证损失。
