🟦 LLMs 使用 Tools

最後更新於August 7, 2024，作者：桑德舒爾霍夫

MRKL 系統¹ (Modular Reasoning, Knowledge and Language, pronounced "miracle") 是一種神經符號結構，結合了 LLMs（神經計算）和像計算器（符號計算）這樣的外部工具，用於解決複雜問題。

MRKL 系統由一組 Tools 模組（例如計算器、天氣API、資料庫等）和一個路由器組成，決定如何將自然語言查詢“路由”到適當的 Tools 模組。

一個簡單的 MRKL系統 範例是一個可以使用計算器應用程式的LLM。 這是一個單一 tool 模組系統，其中 LLM 是路由器。 當被問到 100*100是多少？ 時，LLM 可以選擇從提示中提取數字，然後告訴 MRKL 系統使用計算器應用程式計算結果。 這可能如下所示：

100*100 是多少？
CALCULATOR [100*100]

MRKL系統將看到單詞 CALCULATOR，並將 100*100 插入計算器應用程式中。 這個簡單的想法可以很容易地擴充套件到各種符號計算工具。

考慮以下其他應用範例：

• 一個聊天機器人，能夠從使用者的文字中提取資訊，形成 SQL 查詢，回答有關金融資料庫的問題。

蘋果公司股票現在的價格是多少？
當前價格為DATABASE[SELECT price FROM stock WHERE company = "Apple" AND time
= "now"]。

• 一個聊天機器人，能夠從提示中提取資訊，使用天氣 API 檢索資訊回答有關天氣的問題。

紐約的天氣怎麼樣？
天氣是WEATHER_API[New York]。

• 或者更複雜的依賴多個數據源的任務，例如下面這個例子：

範例

我使用 Dust.tt 復現了原始論文中的一個範例 MRKL 系統，連結在這裡。 該系統可以讀取數學問題（例如20乘以5^6等於多少？ ），提取數字和運算子號，並將其格式化為計算器應用(例如 20 * 5^6）。 然後它將重新格式化的方程式傳送給 Google 的計算器應用程式，並返回結果。 請注意，原始論文對路由器（LLM）進行了提示調整，但是我在這個例子中沒有進行提示調整。 讓我們來看看這是如何工作的：

首先，我在 Dust 的資料集選項卡中製作了一個簡單的資料集。

然後，我切換到 Specification 選項卡，並使用 data 塊載入了資料集。

接下來，我建立了一個 llm 塊，用於提取數字和運算子號。 請注意，在提示中，我告訴它我們將使用 Google 的計算器。 我使用的模型（GPT-3）可能已經預先訓練了一些關於 Google 計算器的知識。

然後，我建立了一個 code 塊，其中執行一些簡單的 JavaScript 程式碼來刪除補全結果(completion)中的空格。

最後，我建立了一個 search 塊，將重新格式化的方程式傳送給 Google 的計算器。

下面我們可以看到最終的結果，全部都是正確的！

請隨意嘗試並進行實驗，這是演練場(playground)的連結.

備註

MRKL 由AI21開發，最初使用了他們的 J-1 (Jurassic 1)² LLM。

更多內容

請參見 此範例 MRKL 系統，該系統是使用 LangChain 構建的。

Footnotes

1. Karpas, E., Abend, O., Belinkov, Y., Lenz, B., Lieber, O., Ratner, N., Shoham, Y., Bata, H., Levine, Y., Leyton-Brown, K., Muhlgay, D., Rozen, N., Schwartz, E., Shachaf, G., Shalev-Shwartz, S., Shashua, A., & Tenenholtz, M. (2022). ↩

2. Lieber, O., Sharir, O., Lentz, B., & Shoham, Y. (2021). Jurassic-1: Technical Details and Evaluation, White paper, AI21 Labs, 2021. URL: Https://Uploads-Ssl. Webflow. Com/60fd4503684b466578c0d307/61138924626a6981ee09caf6_jurassic_ Tech_paper. Pdf. ↩