知识生成

生成的知识方法（Generated Knowledge Approach）要求 LLM 在生成响应之前生成与问题相关的可能有用的信息。该方法由两个中间步骤组成，即知识生成和知识集成。

知识生成

在知识生成步骤中，要求 LLM 生成有关问题的一组事实。大语言模型将以 few-shot 方式进行提示，如下所示。使用相同提示生成 M 个不同的完成。

知识集成

接下来，我们生成“知识增强”问题，并用它们提示 LLM 获得最终答案。最好的理解方法是通过一个例子来说明。

假设我们正在尝试回答问题“大多数袋鼠有

肢体”。假设在知识生成步骤中，我们生成了 2 个知识（M=2）：

• 知识1：“袋鼠是生活在澳大利亚的有袋动物。”

• 知识2：“袋鼠是有 5 条肢体的有袋动物。”

现在，我们将每个知识与问题连接起来，生成知识增强的问题：

• 知识增强问题1：“大多数袋鼠有

  <mask>

  肢体。袋鼠是生活在澳大利亚的有袋动物。”

• 知识增强问题2：“大多数袋鼠有

  <mask>

  肢体。袋鼠是有 5 条肢体的有袋动物。”

然后，我们用这些知识增强的问题提示 LLM，并获得最终答案的提案：

• 答案1：“4”

• 答案2：“5”

我们选择概率最高的答案作为最终答案。最高概率可能是答案令牌的 softmax 概率，或答案令牌的对数概率。

结论

这种方法显示了对各种常识数据集的改进。

备注

The knowledge corresponding to the selected answer is called the selected knowledge. 与所选答案对应的知识称为“精选知识”。