batch

type Batcher struct {
	// contains filtered or unexported fields
}

type Config struct {
	// MaxBatchSize 最大批量大小
	MaxBatchSize int

	// MaxConcurrent 最大并发数
	MaxConcurrent int

	// QueueSize 队列大小
	QueueSize int

	// FlushInterval 刷新间隔
	FlushInterval time.Duration

	// Timeout 请求超时
	Timeout time.Duration

	// MaxRetries 最大重试次数
	MaxRetries int

	// RetryDelay 重试延迟
	RetryDelay time.Duration

	// RateLimit 速率限制（每秒请求数）
	RateLimit int

	// OnBatchStart 批次开始回调
	OnBatchStart func(batchID string, count int)

	// OnBatchComplete 批次完成回调
	OnBatchComplete func(batchID string, count int, duration time.Duration)

	// OnRequestComplete 请求完成回调
	OnRequestComplete func(req *Request, resp *Response)

	// OnError 错误回调
	OnError func(req *Request, err error)
}

type Message struct {
	Role    string `json:"role"`
	Content string `json:"content"`
}

type Provider interface {
	// Complete 执行补全
	Complete(ctx context.Context, req *Request) (*Response, error)
}

type Request struct {
	// ID 请求 ID
	ID string

	// Messages 消息列表
	Messages []Message

	// Model 模型名称（可选，使用默认）
	Model string

	// MaxTokens 最大 token 数
	MaxTokens int

	// Temperature 温度
	Temperature float64

	// Metadata 元数据
	Metadata map[string]any
}

type RequestBuilder struct {
	// contains filtered or unexported fields
}

type Response struct {
	// ID 请求 ID
	ID string

	// Content 响应内容
	Content string

	// TokensUsed 使用的 token 数
	TokensUsed int

	// FinishReason 完成原因
	FinishReason string

	// Error 错误（如果有）
	Error error

	// Latency 延迟（毫秒）
	Latency int64

	// Metadata 元数据
	Metadata map[string]any
}

type Stats struct {
	TotalRequests   int64         `json:"total_requests"`
	SuccessRequests int64         `json:"success_requests"`
	FailedRequests  int64         `json:"failed_requests"`
	TotalBatches    int64         `json:"total_batches"`
	TotalTokens     int64         `json:"total_tokens"`
	TotalLatency    time.Duration `json:"total_latency"`
	// contains filtered or unexported fields
}