跳到主要内容

🟡 知识生成

生成的知识方法(Generated Knowledge Approach)1要求 LLM 在生成响应之前生成与问题相关的可能有用的信息。该方法由两个中间步骤组成,即知识生成和知识集成。

知识生成(Liu et al.)

知识生成​

在知识生成步骤中,要求 LLM 生成有关问题的一组事实。大语言模型将以 few-shot 方式进行提示,如下所示。使用相同提示生成 M 个不同的完成。

生成的知识示例(Liu et al.)

知识集成​

接下来,我们生成“知识增强”问题,并用它们提示 LLM 获得最终答案。最好的理解方法是通过一个例子来说明。

假设我们正在尝试回答问题“大多数袋鼠有 <mask> 肢体”。假设在知识生成步骤中,我们生成了 2 个知识(M=2):

  • 知识1:“袋鼠是生活在澳大利亚的有袋动物。”

  • 知识2:“袋鼠是有 5 条肢体的有袋动物。”

现在,我们将每个知识与问题连接起来,生成知识增强的问题:

  • 知识增强问题1:“大多数袋鼠有 <mask> 肢体。袋鼠是生活在澳大利亚的有袋动物。”

  • 知识增强问题2:“大多数袋鼠有 <mask> 肢体。袋鼠是有 5 条肢体的有袋动物。”

然后,我们用这些知识增强的问题提示 LLM,并获得最终答案的提案:

  • 答案1:“4”

  • 答案2:“5”

我们选择概率最高的答案作为最终答案。最高概率可能是答案令牌的 softmax 概率,或答案令牌的对数概率。

结论​

这种方法显示了对各种常识数据集的改进。

备注​

The knowledge corresponding to the selected answer is called the selected knowledge. 与所选答案对应的知识称为“精选知识”。


  1. Liu, J., Liu, A., Lu, X., Welleck, S., West, P., Bras, R. L., Choi, Y., & Hajishirzi, H. (2021). Generated Knowledge Prompting for Commonsense Reasoning. ↩