multimodal

type AudioFormat string

type AudioProcessor struct {
	// contains filtered or unexported fields
}

type AudioTranscriber interface {
	// Transcribe 将音频转录为文本
	Transcribe(ctx context.Context, audio *Content) (string, error)
}

type CLIPBackend interface {
	// EmbedText 向量化文本，返回与图像向量同空间、可比较的向量。
	EmbedText(ctx context.Context, texts []string) ([][]float32, error)
	// EmbedImage 向量化单张图像。
	EmbedImage(ctx context.Context, image *Content) ([]float32, error)
}

type CLIPEmbedder struct {
	// contains filtered or unexported fields
}

type CLIPOption func(*CLIPEmbedder)

type Content struct {
	// Type 内容类型
	Type ContentType `json:"type"`

	// Text 文本内容 (Type=text 时使用)
	Text string `json:"text,omitempty"`

	// Data 二进制数据 (图像/音频/视频)
	Data []byte `json:"data,omitempty"`

	// DataURL 数据URL (base64 编码)
	DataURL string `json:"data_url,omitempty"`

	// URL 外部URL
	URL string `json:"url,omitempty"`

	// Format 格式 (图像/音频/视频格式)
	Format string `json:"format,omitempty"`

	// Metadata 元数据
	Metadata map[string]any `json:"metadata,omitempty"`
}

type ContentProcessor interface {
	// Process 处理内容
	Process(ctx context.Context, content *Content) (*ProcessResult, error)

	// SupportedTypes 支持的内容类型
	SupportedTypes() []ContentType
}

type ContentType string

type FrameExtractor interface {
	// ExtractFrames 从视频中提取关键帧
	ExtractFrames(ctx context.Context, video *Content, interval time.Duration) ([]*Content, error)

	// ExtractAudio 从视频中提取音频
	ExtractAudio(ctx context.Context, video *Content) (*Content, error)
}

type ImageEmbedder interface {
	// EmbedImage 将图像转换为向量
	EmbedImage(ctx context.Context, image *Content) ([]float32, error)

	// EmbedImages 批量向量化
	EmbedImages(ctx context.Context, images []*Content) ([][]float32, error)
}

type ImageFormat string

type ImageProcessor struct {
	// contains filtered or unexported fields
}

type ImageProcessorOption func(*ImageProcessor)

type MultimodalDocument struct {
	// ID 文档唯一标识
	ID string `json:"id"`

	// Contents 内容列表 (可包含多种模态)
	Contents []*Content `json:"contents"`

	// Metadata 文档元数据
	Metadata map[string]any `json:"metadata,omitempty"`

	// Embeddings 各模态的向量表示
	Embeddings map[ContentType][]float32 `json:"embeddings,omitempty"`

	// TextDescription 文本描述 (用于存储图像描述等)
	TextDescription string `json:"text_description,omitempty"`

	// CreatedAt 创建时间
	CreatedAt time.Time `json:"created_at"`
}

type MultimodalIndexer struct {
	// contains filtered or unexported fields
}

type MultimodalIndexerOption func(*MultimodalIndexer)

type MultimodalLoader struct {
	// contains filtered or unexported fields
}

type MultimodalRetriever struct {
	// contains filtered or unexported fields
}

type MultimodalRetrieverOption func(*MultimodalRetriever)

type ProcessResult struct {
	// TextDescription 文本描述
	TextDescription string

	// Embedding 向量表示
	Embedding []float32

	// Metadata 提取的元数据
	Metadata map[string]any
}

type VideoFormat string

type VideoProcessor struct {
	// contains filtered or unexported fields
}