LLM 節點

LLM 節點負責呼叫語言模型產生文字、分析內容或轉換資料。它可以使用上游節點變數、對話記憶、檔案變數及自訂 messages。

快速理解

LLM Node 係拎住上游資料，再組合成一個 prompt 去問 AI，從而取得回覆。常見做法係把使用者問題、Dataset 搜尋結果、系統規則一齊放入 prompt。

可設定欄位

欄位	說明
Label	節點名稱。
Model	選擇要使用的模型 profile。
Enable Chat Memory	是否帶入最近對話記憶。
Memory Messages	啟用記憶時，帶入最近幾條訊息，範圍 1 至 50。
Context Variable	選擇上游節點輸出作 context。
Files Variable	選擇檔案變數，預設 sys.files。
Messages	設定 system、user、assistant messages。

Messages

LLM 節點預設包含：

• system message：定義模型角色及行為。
• user message：預設引用 {{#sys.query#}} 及 {{#sys.files#}}。

您可以新增 user 或 assistant message，並在內容中插入上游變數。若已選擇 Context Variable，prompt 內應加入 {{#context#}}，否則 context 不會被明確放入模型輸入。

常用輸出

LLM 節點會提供下游節點使用的欄位：

欄位	說明
text	模型生成文字。
usage	token 使用資料。
model	使用的模型。

使用建議

• 將 system message 寫成穩定規則，例如語氣、格式、不能做的事。
• 在 user message 中明確引用 {{#sys.query#}} 或上游變數。
• 如需要引用知識檢索結果，先在 Knowledge Retrieval 節點取得 documents，再設為 context variable。
• 啟用 chat memory 時，注意過多歷史訊息可能增加成本及干擾回答。