Documentation
¶
Overview ¶
Package chunker содержит реализации Chunker для разбиения документов на чанки.
Index ¶
Constants ¶
This section is empty.
Variables ¶
This section is empty.
Functions ¶
This section is empty.
Types ¶
type BasicRuneChunker ¶
type BasicRuneChunker struct {
// contains filtered or unexported fields
}
BasicRuneChunker реализует базовый чанкинг по рунам с overlap и лимитом MaxChunks.
Важно: реализация статлесс и не читает env vars. Контракты валидации options находятся в публичном wrapper'е (pkg/draftrag). Здесь предполагается, что параметры уже валидированы.
func NewBasicRuneChunker ¶
func NewBasicRuneChunker(chunkSize, overlap, maxChunks int) *BasicRuneChunker
NewBasicRuneChunker создаёт базовый чанкер по рунам.
Source Files
Click to show internal directories.
Click to hide internal directories.