Skip to content

設定分段規則

分段設定會影響檢索準確度、回覆上下文與處理成本。EZChat 建立 Dataset 時會提交 chunk 設定,並用這些設定把文件內容切成可檢索 chunks。

目前預設設定

現時新 Dataset 建立流程會使用以下預設值:

設定預設值說明
Maximum chunk length1024每個 chunk 的最大長度。
Chunk overlap50相鄰 chunks 之間保留的重疊內容。
Delimiter\n\n預設以段落分隔。
Keep separatorstrue在產生的 chunks 內保留分隔符。
Language hint跟隨目前介面語言中文介面會使用 chinese,其他情況使用 english

TIP

Chunk overlap 必須小於 chunk size。一般可先使用預設值;如果文件內容跨段關聯較強,可以適度增加 overlap。

欄位說明

Delimiter

Delimiter 是用於分隔文字的字元。常見值包括:

用途
\n\n按段落切分。
\n按行切分。
***使用自訂分隔符。

Maximum chunk length

控制單個 chunk 的最大長度。設定太小可能令上下文不足;設定太大會增加檢索成本,亦可能令回覆帶入過多無關內容。

Chunk overlap

控制相鄰 chunks 之間保留幾多重疊內容。適量 overlap 可以保留語意連貫性,特別適合 FAQ、教學文件或需要前後文理解的內容。

Keep separators

開啟後,系統會在 chunks 內保留分隔符字元。這對保留段落結構有幫助,但如果文件有大量無意義分隔符,可能會影響 chunk 內容質素。

甚麼時候需要調整

  • 文件段落很短:可以降低 chunk size,減少無關內容被一同召回。
  • 文件段落很長:可以增加 chunk size,避免句子或章節被切得太碎。
  • 回答常常缺少上下文:可以增加 chunk overlap。
  • 文件有明確標記,例如 ###---:可以考慮使用自訂 delimiter。

截圖待補:目前 production UI 未開放分段設定頁。之後 UI 開放後,可截取包含 Delimiter、Maximum chunk length、Chunk overlap、Keep separators 的設定區域。