幻觉日期与模型截止 | AI生成和翻译
问题： DeepSeek-V2-Lite-Chat 说今天是2022年9月22日——这是否表明其训练/微调数据的截止日期？
回答：
不完全是——这是一个有噪音的信号，但值得深入分析。
实际发生了什么
当模型在没有实时访问权限的情况下说“今天是X”时，它并不是在读时钟。它是在从训练数据中进行模式匹配。模型看到了大量文本中“今天”对应其训练语料库中的日期，然后根据这种分布幻觉出一个看似合理的日期。
它输出的日期受以下因素影响：
- 训练数据截止日期——预训练期间看到的最后日期
- 微调/指令数据——SFT数据集中有时会包含带有特定日期的合成对话
- 语料库中的近因偏差——如果大量SFT数据是在某个特定日期附近生成/整理的，模型就会锚定那个日期
DeepSeek-V2-Lite 实际时间线
- DeepSeek-V2 于 2024年5月 发布，训练数据大致覆盖到2024年初
- 2022年9月22日远早于实际发布日期——这几乎可以肯定是幻觉日期，而非真实的截止信号
DeepSeek-V2系列的真实截止日期很可能在 2024年初至年中。
为什么日期会出错？
几种可能性：
- SFT指令数据是在2022年底左右使用GPT-4或其他模型生成的，这些合成对话泄露了日期上下文
- 基础预训练数据中2022年的新闻/文本占比很大
- 模型对自己训练时间线的自我认知能力很差（非常常见——大多数模型都如此）
获取实际截止日期的正确方法
不要相信模型自我报告的日期。改为：
# 询问一个已知事件边界的问题
"你对GPT-4o了解多少？" # 2024年5月发布
"你对DeepSeek-V3了解多少？" # 2024年12月发布
"告诉我2024年美国大选结果"
如果它知道GPT-4o但不知道DeepSeek-V3，那么截止日期大约在2024年中。这种方法比直接问“今天是什么日期”要可靠得多，能给你一个更准确的时间范围。
总结
2022年9月22日几乎肯定是一个幻觉，并非实际的训练截止日期。DeepSeek-V2的真实截止日期是2024年初。模型自我报告的日期不可靠——改用带日期的事件进行探测。