evalplan

type Case struct {
	Case     testcase.Case `json:"case"`
	Criteria []Criterion   `json:"criteria"`
}

type Criterion struct {
	ID               string         `json:"id"`
	Scorer           string         `json:"scorer"`
	Revision         string         `json:"revision"`
	Config           map[string]any `json:"config,omitempty"`
	Required         bool           `json:"required"`
	RequiresExpected bool           `json:"requires_expected"`
}

type Plan struct {
	ID              id.ID       `json:"id"`
	SchemaVersion   int         `json:"schema_version"`
	AppID           string      `json:"app_id"`
	TenantID        string      `json:"tenant_id"`
	Suite           suite.Suite `json:"suite"`
	PromptVersionID string      `json:"prompt_version_id,omitempty"`
	Cases           []Case      `json:"cases"`
	PassThreshold   float64     `json:"pass_threshold"`
	Digest          string      `json:"digest"`
	CreatedAt       time.Time   `json:"created_at"`
}

type Store interface {
	CreateEvaluationPlan(context.Context, *Plan) error
	GetEvaluationPlan(context.Context, id.ID) (*Plan, error)
}