splitter

Overview ¶

Package splitter 提供 RAG 系统的文档分割器

code.go 实现代码感知分割器，能够根据编程语言的语法结构进行智能分割。 支持的语言：Go、Python、JavaScript/TypeScript、Java、Rust、C/C++、Ruby、PHP

核心特性：

• 按函数/方法/类级别分割，保持代码逻辑完整性
• 自动检测编程语言
• 保留导入语句和包声明上下文
• 每个分块包含必要的上下文信息

使用示例：

splitter := NewCodeSplitter(
    WithLanguage(LangGo),
    WithCodeChunkSize(2000),
)
chunks, err := splitter.Split(ctx, docs)

search_tokenize.go 搜索查询分词器

为全文检索（FTS5 / LIKE 降级）提供 CJK 友好的查询分词。

与 SimpleTokenizer.tokenize() 的区别：

• SimpleTokenizer: 面向 token 计数（CJK 每字一个 token），用于分块估算
• SearchTokenize: 面向搜索匹配（CJK bigram + 原词保留），用于构建搜索查询

CJK bigram 策略参考：

• Elasticsearch CJK bigram token filter
• Lucene CJKBigramFilter
• SQLite FTS5 + unicode61 tokenizer 的中文检索最佳实践

示例：

SearchTokenize("杭帮菜的正确吃法")
→ ["杭帮", "帮菜", "菜的", "的正", "正确", "确吃", "吃法", "杭帮菜的正确吃法"]

SearchTokenize("hello world 你好世界")
→ ["hello", "world", "你好", "好世", "世界", "你好世界"]

Package splitter 提供 RAG 系统的文档分割器 ¶

Splitter 用于将长文档分割成适合向量化的小块：

• CharacterSplitter: 按字符数分割
• RecursiveSplitter: 递归分割（优先保持语义完整）
• MarkdownSplitter: Markdown 专用分割（按标题分割）
• SentenceSplitter: 按句子分割

Package splitter 提供 RAG 系统的文档分割器 ¶

token.go 实现 Token 级分割器：

• TokenSplitter: 按模型 Token 数而非字符数分割
• Tokenizer: 分词器接口，支持 tiktoken/sentencepiece 等
• SimpleTokenizer: 基于空格/标点的简单分词器
• TiktokenTokenizer: 对接 OpenAI tiktoken 的分词器

对标 LangChain/LlamaIndex 的 Token-based Splitting。

使用示例：

// 使用简单分词器（无外部依赖）
splitter := NewTokenSplitter(
    WithTokenChunkSize(512),
    WithTokenOverlap(50),
    WithTokenizer(NewSimpleTokenizer()),
)

// 使用 tiktoken（精确按 GPT 模型 token 分割）
splitter := NewTokenSplitter(
    WithTokenChunkSize(512),
    WithTokenizer(NewTiktokenTokenizer("gpt-4")),
)

docs, err := splitter.Split(ctx, inputDocs)