loader

type CSVLoader struct {
	// contains filtered or unexported fields
}

type CSVOption func(*CSVLoader)

type CompositeLoader struct {
	// contains filtered or unexported fields
}

type Connector interface {
	// Name 连接器名称
	Name() string

	// Load 加载文档
	Load(ctx context.Context) ([]*Document, error)
}

type DOCXLoader struct {
	// contains filtered or unexported fields
}

type DOCXOption func(*DOCXLoader)

type DatabaseConfig struct {
	// DB 数据库连接
	DB *sql.DB

	// Query SQL 查询
	Query string

	// Columns 要提取的列
	Columns []string

	// Template 文档模板（使用 {{.ColumnName}} 语法）
	Template string
}

type DatabaseConnector struct {
	// contains filtered or unexported fields
}

type DatabaseLoader struct {
	// contains filtered or unexported fields
}

type DatabaseOption func(*DatabaseLoader)

type DirectoryLoader struct {
	// contains filtered or unexported fields
}

type DirectoryOption func(*DirectoryLoader)

type Document = rag.Document

type EnhancedPDFParser struct{}

type ExcelLoader struct {
	// contains filtered or unexported fields
}

type ExcelOption func(*ExcelLoader)

type GitHubConfig struct {
	// Token GitHub 访问令牌
	Token string

	// Owner 仓库所有者
	Owner string

	// Repo 仓库名称
	Repo string

	// Branch 分支名称
	Branch string

	// Path 文件路径（可选）
	Path string

	// LoadType 加载类型
	LoadType GitHubLoadType

	// FileExtensions 文件扩展名过滤（仅 LoadFiles）
	FileExtensions []string

	// IssueState Issue 状态过滤
	IssueState string // "open", "closed", "all"

	// MaxItems 最大项数
	MaxItems int
}

type GitHubConnector struct {
	// contains filtered or unexported fields
}

type GitHubLoadType int

type GitHubLoader struct {
	// contains filtered or unexported fields
}

type GitHubOption func(*GitHubLoader)

type HTMLLoader struct {
	// contains filtered or unexported fields
}

type HTMLOption func(*HTMLLoader)

type ImageDescriber interface {
	// Describe 返回图片的文本描述。
	Describe(ctx context.Context, image []byte, mime string) (string, error)
}

type ImageParser struct {
	// contains filtered or unexported fields
}

type JSONLoader struct {
	// contains filtered or unexported fields
}

type JSONOption func(*JSONLoader)

type MarkdownLoader struct {
	// contains filtered or unexported fields
}

type MarkdownOption func(*MarkdownLoader)

type NotionConfig struct {
	// Token Notion 集成令牌
	Token string

	// PageID 页面 ID（可选）
	PageID string

	// DatabaseID 数据库 ID（可选）
	DatabaseID string
}

type NotionConnector struct {
	// contains filtered or unexported fields
}

type NotionLoader struct {
	// contains filtered or unexported fields
}

type NotionOption func(*NotionLoader)

type OCREngine interface {
	// ExtractText 从文件中提取文字
	// filePath: 图片或 PDF 文件路径
	// 返回提取的文字内容和可能的元数据
	ExtractText(ctx context.Context, filePath string) (*OCRResult, error)

	// Name 返回引擎名称
	Name() string

	// SupportedFormats 返回支持的文件格式
	SupportedFormats() []string
}

type OCRLoader struct {
	// contains filtered or unexported fields
}

type OCRLoaderOption func(*OCRLoader)

type OCRPage struct {
	// PageNum 页码（从 1 开始）
	PageNum int

	// Text 该页文本
	Text string

	// Confidence 该页置信度
	Confidence float64
}

type OCRResult struct {
	// Text 提取的完整文本
	Text string

	// Pages 分页结果（PDF 场景）
	Pages []OCRPage

	// Language 检测到的语言
	Language string

	// Confidence 整体置信度 (0-1)
	Confidence float64

	// Metadata 额外元数据
	Metadata map[string]any
}

type PDFDocument struct {
	// Pages 页面内容列表
	Pages []string

	// Metadata PDF 元数据
	Metadata PDFMetadata
}

type PDFLoader struct {
	// contains filtered or unexported fields
}

type PDFMetadata struct {
	// Title 标题
	Title string `json:"title,omitempty"`

	// Author 作者
	Author string `json:"author,omitempty"`

	// Subject 主题
	Subject string `json:"subject,omitempty"`

	// Creator 创建者
	Creator string `json:"creator,omitempty"`

	// Producer 生产者
	Producer string `json:"producer,omitempty"`

	// CreationDate 创建日期
	CreationDate time.Time `json:"creation_date,omitempty"`

	// ModDate 修改日期
	ModDate time.Time `json:"mod_date,omitempty"`

	// PageCount 页数
	PageCount int `json:"page_count"`
}

type PDFOption func(*PDFLoader)

type PDFParser interface {
	// Parse 解析 PDF 并返回页面内容
	Parse(ctx context.Context, r io.Reader) (*PDFDocument, error)
}

type PPTXLoader struct {
	// contains filtered or unexported fields
}

type PPTXOption func(*PPTXLoader)

type ParseEngine struct {
	// contains filtered or unexported fields
}

type ParseInput struct {
	// Content 待解析的原始字节
	Content []byte
	// MIME 内容类型（如 "application/pdf" / "image/png" / "text/markdown"）
	MIME string
	// Filename 可选来源文件名，用于按扩展名辅助推断格式
	Filename string
	// Metadata 透传到产出 Document 的元数据
	Metadata map[string]any
}

type Parser interface {
	// Parse 解析输入为结构化文档。
	Parse(ctx context.Context, in ParseInput) ([]Document, error)
	// CanParse 报告本解析器是否支持给定 MIME 类型。
	CanParse(mime string) bool
}

type ReaderLoader struct {
	// contains filtered or unexported fields
}

type S3Loader struct {
	// contains filtered or unexported fields
}

type S3Option func(*S3Loader)

type SimplePDFParser struct{}

type SlackConfig struct {
	// Token Slack Bot Token
	Token string

	// ChannelID 频道 ID
	ChannelID string

	// Limit 消息数量限制
	Limit int
}

type SlackConnector struct {
	// contains filtered or unexported fields
}

type SlackLoader struct {
	// contains filtered or unexported fields
}

type SlackOption func(*SlackLoader)

type StringLoader struct {
	// contains filtered or unexported fields
}

type TesseractEngine struct {
	// contains filtered or unexported fields
}

type TesseractOption func(*TesseractEngine)

type TextLoader struct {
	// contains filtered or unexported fields
}

type TextParser struct{}

type URLLoader struct {
	// contains filtered or unexported fields
}

type URLOption func(*URLLoader)

type VisionLLMEngine struct {
	// contains filtered or unexported fields
}

type VisionLLMOption func(*VisionLLMEngine)

type WebAPIConfig struct {
	// URL API 端点
	URL string

	// Method HTTP 方法
	Method string

	// Headers 请求头
	Headers map[string]string

	// Body 请求体
	Body string

	// JSONPath JSON 路径（提取数组）
	JSONPath string
}

type WebAPIConnector struct {
	// contains filtered or unexported fields
}

type YAMLLoader struct {
	// contains filtered or unexported fields
}

type YAMLOption func(*YAMLLoader)