对模型说“这对我的职业生涯很重要”,成绩真的会涨?一篇 2023 年的论文这么报告
配图:AI 生成的概念示意图,非论文原图、实验结果或真实数据。
TL;DR:2023 年的一篇论文发现,在提示词末尾加一句带情绪的话,比如“这对我的职业生涯非常重要”,多个大模型在不少任务上的得分有所提高。论文把这种做法叫 EmotionPrompt。它不能证明模型“有感情”,也不保证对每个任务、每个模型都有效,而且结论来自 2023 年的模型。
这件事发生在 2023 年 7 月,论文作者包括 Cheng Li、Jindong Wang、Xing Xie 等人。这是一篇老论文,不是今天的新闻,但它的思路至今还常被提示词爱好者引用。
做法很简单:原本的提示词不动,在末尾追加一句情绪刺激。论文设计了 11 句,其中最出名的是“这对我的职业生涯非常重要”(英文原句为 This is very important to my career)。另一些是让模型给出 0 到 1 的自信分数、“你最好确定一下”、“你确定吗”,还有一类是鼓励式的话,比如相信自己的能力、一步一步来。
这些句子并非随便编的。作者借用了心理学里的自我监控、社会认知理论和认知情绪调节,把它们分别对应到不同的句子上。这一点更像是为实验找理论依据,不能说明模型真的“理解”了这些理论。
实验覆盖 45 个任务,测试了 Flan-T5-Large、Vicuna、Llama 2、BLOOM、ChatGPT 和 GPT-4。论文报告的主要数字有:
- Instruction Induction 上,平均相对提升约 8.00%。
- BIG-Bench 上,平均相对提升约 115%。这个数字看着惊人,但是相对提升,起点本来就低的任务容易出现很大的百分比,不等于答对率翻了一倍多。
- TruthfulQA 上,真实性约提高 19%,信息量约提高 12%。
- 106 名志愿者给 GPT-4 的回答打分,在表现、真实性、责任感三项上,平均提升约 10.9%。志愿者都是 20 到 35 岁的在校学生,样本偏窄。
论文自己也提到了限制:基线本来就高的大模型,如 ChatGPT 和 GPT-4,相对提升更小;不同任务上最有效的句子不一样;有些情况下回答会变得更“笃定”,也可能更短。
所以更稳妥的读法是:在 2023 年的那批模型上,一句带情绪、强调重要性的附加话,平均而言能带来一点提升,有时提升不小。它说明模型的行为会被这类语气影响,但并没有证明模型“在乎”你的职业生涯。此后模型和训练方式变化很大,这个技巧今天还灵不灵,要自己用任务测一测,不能直接照搬论文数字。
论文地址:arXiv:2307.11760