LumberChunker 是一种利用大型语言模型（LLM）来决定长篇故事分段位置的技术，旨在创建更自然的文本块，从而帮助检索增强生成（RAG）系统获取正确的信息。长篇叙事文档通常具有明确的结构，如章节或部分，但这些单位往往过于宽泛，无法满足检索任务的需求。在较低层次上，重要的语义变化发生在这些较大段落内部，而没有明显的结构性断裂。仅通过格式提示（如段落或固定的令牌窗口）进行文本分割，可能会将属于...