evaluate

type ConsoleReporter struct {
	// contains filtered or unexported fields
}

type CostInfo struct {
	InputTokens  int     `json:"input_tokens"`
	OutputTokens int     `json:"output_tokens"`
	TotalTokens  int     `json:"total_tokens"`
	Cost         float64 `json:"cost"` // 美元
}

type CustomEvaluator struct {
	// contains filtered or unexported fields
}

type CustomOption func(*CustomEvaluator)

type Dataset struct {
	// Name 数据集名称
	Name string `json:"name"`

	// Description 数据集描述
	Description string `json:"description,omitempty"`

	// Samples 样本列表
	Samples []Sample `json:"samples"`

	// Metadata 元数据
	Metadata map[string]any `json:"metadata,omitempty"`

	// CreatedAt 创建时间
	CreatedAt time.Time `json:"created_at"`
}

type DatasetBuilder struct {
	// contains filtered or unexported fields
}

type EvalConfig struct {
	// Evaluators 要使用的评估器列表
	Evaluators []Evaluator

	// Concurrency 并发数
	Concurrency int

	// Timeout 单次评估超时
	Timeout time.Duration

	// StopOnError 遇到错误是否停止
	StopOnError bool

	// Verbose 是否输出详细日志
	Verbose bool
}

type EvalInput struct {
	// Query 用户查询
	Query string `json:"query"`

	// Response 系统响应
	Response string `json:"response"`

	// Context 检索上下文（RAG 场景）
	Context []string `json:"context,omitempty"`

	// Reference 参考答案（用于正确性评估）
	Reference string `json:"reference,omitempty"`

	// Metadata 额外元数据
	Metadata map[string]any `json:"metadata,omitempty"`

	// Timing 时间信息
	Timing *TimingInfo `json:"timing,omitempty"`

	// Cost 成本信息
	Cost *CostInfo `json:"cost,omitempty"`
}

type EvalReport struct {
	// Name 报告名称
	Name string `json:"name"`

	// Dataset 数据集名称
	Dataset string `json:"dataset"`

	// StartTime 开始时间
	StartTime time.Time `json:"start_time"`

	// EndTime 结束时间
	EndTime time.Time `json:"end_time"`

	// Duration 总耗时
	Duration time.Duration `json:"duration"`

	// TotalSamples 样本总数
	TotalSamples int `json:"total_samples"`

	// SuccessSamples 成功样本数
	SuccessSamples int `json:"success_samples"`

	// FailedSamples 失败样本数
	FailedSamples int `json:"failed_samples"`

	// Summary 汇总统计
	Summary map[string]*MetricSummary `json:"summary"`

	// Results 详细结果
	Results []SampleResult `json:"results,omitempty"`

	// Metadata 元数据
	Metadata map[string]any `json:"metadata,omitempty"`
}

type EvalResult struct {
	// Name 评估器名称
	Name string `json:"name"`

	// Score 评分（0-1）
	Score float64 `json:"score"`

	// Passed 是否通过（可选）
	Passed *bool `json:"passed,omitempty"`

	// Reason 评分理由
	Reason string `json:"reason,omitempty"`

	// Details 详细信息
	Details map[string]any `json:"details,omitempty"`

	// SubScores 子分数（用于复合指标）
	SubScores map[string]float64 `json:"sub_scores,omitempty"`

	// Error 错误信息
	Error string `json:"error,omitempty"`

	// Duration 评估耗时
	Duration time.Duration `json:"duration"`
}

type Evaluator interface {
	// Name 返回评估器名称
	Name() string

	// Description 返回评估器描述
	Description() string

	// Evaluate 执行评估
	Evaluate(ctx context.Context, input EvalInput) (*EvalResult, error)

	// RequiresLLM 返回是否需要 LLM 进行评估
	RequiresLLM() bool
}

type HTMLReporter struct {
	// contains filtered or unexported fields
}

type JSONReporter struct {
	// contains filtered or unexported fields
}

type LLMJudge interface {
	// Judge 使用 LLM 进行评判
	Judge(ctx context.Context, prompt string) (string, error)
}

type LLMJudgeFunc func(ctx context.Context, prompt string) (string, error)

type MarkdownReporter struct {
	// contains filtered or unexported fields
}

type MetricSummary struct {
	// Name 指标名称
	Name string `json:"name"`

	// Mean 平均分
	Mean float64 `json:"mean"`

	// Min 最小分
	Min float64 `json:"min"`

	// Max 最大分
	Max float64 `json:"max"`

	// Median 中位数
	Median float64 `json:"median"`

	// StdDev 标准差
	StdDev float64 `json:"std_dev"`

	// PassRate 通过率（如适用）
	PassRate *float64 `json:"pass_rate,omitempty"`

	// Distribution 分数分布
	Distribution map[string]int `json:"distribution,omitempty"`

	// Count 样本数
	Count int `json:"count"`
}

type Reporter interface {
	// Generate 生成报告
	Generate(report *EvalReport, w io.Writer) error

	// Format 返回报告格式
	Format() string
}

type Runner struct {
	// contains filtered or unexported fields
}

type Sample struct {
	// ID 样本 ID
	ID string `json:"id"`

	// Query 查询
	Query string `json:"query"`

	// Reference 参考答案（可选）
	Reference string `json:"reference,omitempty"`

	// Context 参考上下文（可选）
	Context []string `json:"context,omitempty"`

	// Metadata 元数据
	Metadata map[string]any `json:"metadata,omitempty"`

	// Tags 标签
	Tags []string `json:"tags,omitempty"`
}

type SampleResult struct {
	// SampleID 样本 ID
	SampleID string `json:"sample_id"`

	// Query 查询
	Query string `json:"query"`

	// Response 响应
	Response string `json:"response,omitempty"`

	// Results 各评估器的结果
	Results map[string]*EvalResult `json:"results"`

	// Error 错误信息
	Error string `json:"error,omitempty"`

	// Duration 耗时
	Duration time.Duration `json:"duration"`
}

type ScoreLevel string

type SystemFunc func(ctx context.Context, query string) (*SystemResponse, error)

type SystemResponse struct {
	Response string
	Context  []string
	Timing   *TimingInfo
	Cost     *CostInfo
	Metadata map[string]any
}

type SystemUnderTest interface {
	// Run 运行系统并返回响应
	Run(ctx context.Context, query string) (*SystemResponse, error)
}

type Thresholds struct {
	Relevance    float64 `json:"relevance"`
	Faithfulness float64 `json:"faithfulness"`
	Correctness  float64 `json:"correctness"`
	Latency      float64 `json:"latency"` // 毫秒
	Cost         float64 `json:"cost"`    // 美元
}

type TimingInfo struct {
	StartTime    time.Time     `json:"start_time"`
	EndTime      time.Time     `json:"end_time"`
	Duration     time.Duration `json:"duration"`
	TTFBDuration time.Duration `json:"ttfb_duration,omitempty"` // Time To First Byte
}