为什么模型说自己是别的模型？

有时候，当您直接询问模型"你是什么模型？"时，模型可能会给出一个错误的答案——比如声称自己是 GPT-4、GPT-3.5，或者其他模型。这可能会让您产生疑虑：我付费使用的模型是不是被偷换成了便宜的模型？

请放心，这不是以次充好，而是大语言模型（LLM）的一个普遍技术特性。

为什么会这样？

大语言模型在训练时，会从互联网上的海量文本中学习，包括新闻、文章、书籍、论坛帖子等。然而，模型的名称和身份是在训练完成后才确定的，并不在训练数据中。

可以这样理解：就像一个孩子在成长过程中学习了大量知识，但如果从来没人告诉过他自己叫什么名字，当被问到"你叫什么？"时，他只能根据学过的内容去猜测。

由于训练数据中充满了关于各种模型的讨论（比如"GPT-4 很强"、"我在使用 Claude"等），模型在被问到自己是什么时，可能会凭借这些训练数据中的模式，给出一个错误的回答。

提供商如何解决这个问题？

模型提供商通常通过**系统提示词（System Prompt）**来告诉模型它的身份。例如，Anthropic 的官方系统提示词以"The assistant is Claude, made by Anthropic"开头。

但这种方法有局限性：如果第三方应用修改或省略了系统提示词，模型就可能"忘记"自己的身份，给出错误的答案。

为什么这不是欺诈的证据？

直接询问模型"你是什么模型"来验证其身份不是一个可靠的方法，原因如下：

1. 模型的回答来自统计推测，而不是真正的"自我认知"

2. 系统提示词可能被修改或省略，导致模型无法正确识别自己

3. 不同的模型都可能说自己是 GPT-4，这不能作为判断真伪的依据

如何真正验证使用的是什么模型？

如果您想确认 Chatbox AI 使用的是正确的模型，可以通过以下方式：

1. 使用专业的模型评测工具，如 16x Eval 等第三方评测工具，通过标准化的 benchmark 测试对比模型能力

2. 对比模型的实际能力表现，如推理能力、代码能力、知识范围等，高端模型在复杂任务上的表现会明显优于低端模型

3. 观察模型的特征性行为，不同模型在输出风格、格式偏好、处理特定问题的方式上有明显差异

Chatbox AI 承诺为用户提供准确标注的模型服务，我们不会用低端模型替代高端模型。

延伸阅读

• The Identity Crisis: Why LLMs Don't Know Who They Are - 一篇详细解释这一现象的英文博客