設定分段規則
分段設定會影響檢索準確度、回覆上下文與處理成本。EZChat 建立 Dataset 時會提交 chunk 設定,並用這些設定把文件內容切成可檢索 chunks。
目前預設設定
現時新 Dataset 建立流程會使用以下預設值:
| 設定 | 預設值 | 說明 |
|---|---|---|
| Maximum chunk length | 1024 | 每個 chunk 的最大長度。 |
| Chunk overlap | 50 | 相鄰 chunks 之間保留的重疊內容。 |
| Delimiter | \n\n | 預設以段落分隔。 |
| Keep separators | true | 在產生的 chunks 內保留分隔符。 |
| Language hint | 跟隨目前介面語言 | 中文介面會使用 chinese,其他情況使用 english。 |
TIP
Chunk overlap 必須小於 chunk size。一般可先使用預設值;如果文件內容跨段關聯較強,可以適度增加 overlap。
欄位說明
Delimiter
Delimiter 是用於分隔文字的字元。常見值包括:
| 值 | 用途 |
|---|---|
\n\n | 按段落切分。 |
\n | 按行切分。 |
*** | 使用自訂分隔符。 |
Maximum chunk length
控制單個 chunk 的最大長度。設定太小可能令上下文不足;設定太大會增加檢索成本,亦可能令回覆帶入過多無關內容。
Chunk overlap
控制相鄰 chunks 之間保留幾多重疊內容。適量 overlap 可以保留語意連貫性,特別適合 FAQ、教學文件或需要前後文理解的內容。
Keep separators
開啟後,系統會在 chunks 內保留分隔符字元。這對保留段落結構有幫助,但如果文件有大量無意義分隔符,可能會影響 chunk 內容質素。
甚麼時候需要調整
- 文件段落很短:可以降低 chunk size,減少無關內容被一同召回。
- 文件段落很長:可以增加 chunk size,避免句子或章節被切得太碎。
- 回答常常缺少上下文:可以增加 chunk overlap。
- 文件有明確標記,例如
###或---:可以考慮使用自訂 delimiter。
截圖待補:目前 production UI 未開放分段設定頁。之後 UI 開放後,可截取包含 Delimiter、Maximum chunk length、Chunk overlap、Keep separators 的設定區域。