模型把训练集背熟后又练了上万步，忽然“顿悟”：Grokking 是怎么回事？
TL;DR：OpenAI 的研究者在小型算法数据集上发现，神经网络可以先把训练集彻底背下来、验证集却几乎答不对，继续训练很久之后，验证准确率才突然飙升到接近完美，他们称之为 grokking。论文只在特定的小型算法任务上观察并描述了这个现象，没有给出完整的理论解释，也不能直接推论到大语言模型。 这篇论文发表于 2022 年 1 月（arXiv 提交日为 1 月 6 日），早期版本曾在 2021 年的 ICLR 数学推理研讨会上亮相，并不是什么新闻，但它改变了人们对“过拟合”的