etl

type AuditConfig struct {
	Enabled bool   `yaml:"enabled"` // Включить аудит
	Level   string `yaml:"level"`   // Уровень: minimal, standard, detailed
	Output  string `yaml:"output"`  // Путь к файлу лога
	Format  string `yaml:"format"`  // Формат: json, text
}

type CSVSourceConfig struct {
	Columns   []string `yaml:"columns"`
	Delimiter string   `yaml:"delimiter"` // One character; default comma
	Encoding  string   `yaml:"encoding"`  // utf-8 (default) or windows-1251
	Header    *bool    `yaml:"header"`    // Default true
}

type ErrorHandlingConfig struct {
	OnSourceError     string `yaml:"on_source_error"`     // skip, fail, retry
	RetryAttempts     int    `yaml:"retry_attempts"`      // Количество повторов
	RetryDelaySeconds int    `yaml:"retry_delay_seconds"` // Задержка между повторами
	OnTransformError  string `yaml:"on_transform_error"`  // skip, fail
	OnOutputError     string `yaml:"on_output_error"`     // fail, retry
}

type ExecutionResult struct {
	SQL          string
	RowsAffected int
	Duration     time.Duration
	Packet       *packet.DataPacket
	Error        error
}

type Executor struct {
	// contains filtered or unexported fields
}

type ExportResult struct {
	OutputType   string
	Destination  string
	RowsExported int
	Error        error
}

type Exporter struct {
	// contains filtered or unexported fields
}

type ImportResult struct {
	PartNumber int
	TotalParts int // Из Header.TotalParts
	RowsCount  int
	Error      error
	Duration   time.Duration
}

type ImportStats struct {
	TotalParts      int
	PartsImported   int
	TotalRows       int
	Errors          []error
	StartTime       time.Time
	EndTime         time.Time
	Duration        time.Duration
	AvgPartDuration time.Duration
}

type ImporterConfig struct {
	Type     string // "RabbitMQ" или "Kafka"
	RabbitMQ *RabbitMQInputConfig
	Kafka    *KafkaInputConfig
	Workers  int // Количество параллельных воркеров для обработки частей
}

type KafkaInputConfig struct {
	Brokers []string
	Topic   string
	GroupID string
}

type KafkaOutputConfig struct {
	Brokers []string `yaml:"brokers"` // Список Kafka brokers
	Topic   string   `yaml:"topic"`   // Kafka topic

	// Streaming spool — для надёжной отправки больших таблиц.
	// Каждый пакет сжимается и пишется на диск; отдельная горутина
	// читает файлы и шлёт пачками. Гарантирует < 1MB на сообщение.
	SpoolDir      string `yaml:"spool_dir"`      // "" = os.TempDir()/tdtp-kafka-spool; явный путь — постоянный spool
	PacketKB      int    `yaml:"packet_kb"`      // целевой размер пакета несжатого XML, КБ (default 750)
	BatchSend     int    `yaml:"batch_send"`     // кол-во пакетов в одном WriteMessages (default 10)
	CompressAlgo  string `yaml:"compress_algo"`  // zstd (default) или none
	CompressLevel int    `yaml:"compress_level"` // уровень сжатия zstd (default 3)

	// MemLimitMB > 0 включает быстрый in-memory путь вместо disk-spool.
	// Writer блокируется когда суммарный объём сжатых данных в канале
	// превышает лимит. Нет записи на диск — нет resumability при падении.
	MemLimitMB int `yaml:"mem_limit_mb"` // 0 = disk spool; > 0 = in-memory с backpressure
}

type KafkaSpoolExporter struct {
	// contains filtered or unexported fields
}

type Loader struct {
	// contains filtered or unexported fields
}

type OutputConfig struct {
	Type     string                `yaml:"type"`               // Тип: tdtp, rabbitmq, kafka, xlsx
	TDTP     *TDTPOutputConfig     `yaml:"tdtp,omitempty"`     // Конфигурация для TDTP
	RabbitMQ *RabbitMQOutputConfig `yaml:"rabbitmq,omitempty"` // Конфигурация для RabbitMQ
	Kafka    *KafkaOutputConfig    `yaml:"kafka,omitempty"`    // Конфигурация для Kafka
	XLSX     *XLSXOutputConfig     `yaml:"xlsx,omitempty"`     // Конфигурация для XLSX

	// Fallback — резервный канал доставки.
	// Если primary-канал (Type) недоступен, tdtpcli автоматически переключается на fallback.
	// Пример: primary=kafka, fallback=tdtp(s3://bucket/...) — данные не теряются при сбое брокера.
	Fallback *OutputConfig `yaml:"fallback,omitempty"`
	// Resilience — настройки circuit breaker для primary-канала.
	// По умолчанию: max_failures=3, timeout_sec=60.
	Resilience *OutputResilienceConfig `yaml:"resilience,omitempty"`
}

type OutputResilienceConfig struct {
	MaxFailures int `yaml:"max_failures"` // Число последовательных сбоев до переключения (default: 3)
	TimeoutSec  int `yaml:"timeout_sec"`  // Время в Open-состоянии до следующей probe (default: 60)
}

type ParallelImporter struct {
	// contains filtered or unexported fields
}

type PerformanceConfig struct {
	MaxMemoryMB     int  `yaml:"max_memory_mb"`    // Максимальная память для workspace (MB)
	BatchSize       int  `yaml:"batch_size"`       // Размер batch для импорта
	ParallelSources bool `yaml:"parallel_sources"` // Загружать источники параллельно
	// Fast — глобальный режим --fast для всего пайплайна.
	// Пропускает DetectAndApply (SpecialValues NULL/NaN/Inf) при экспорте из БД и
	// при генерации TDTP/Kafka-пакетов. Использовать когда источник гарантированно
	// не содержит DB NULL, NaN, Infinity. Даёт ~5x ускорение GenerateReference.
	Fast bool `yaml:"fast"`
}

type PipelineConfig struct {
	Name          string                     `yaml:"name"`
	Version       string                     `yaml:"version"`
	Description   string                     `yaml:"description"`
	Sources       []SourceConfig             `yaml:"sources"`
	Workspace     WorkspaceConfig            `yaml:"workspace"`
	Transform     TransformConfig            `yaml:"transform"`
	Processors    processors.ProcessorConfig `yaml:"processors"`
	Output        OutputConfig               `yaml:"output"`
	Performance   PerformanceConfig          `yaml:"performance"`
	Audit         AuditConfig                `yaml:"audit"`
	ErrorHandling ErrorHandlingConfig        `yaml:"error_handling"`
	ResultLog     ResultLogConfig            `yaml:"result_log"`
	Security      SecurityConfig             `yaml:"security"`
}

type Processor struct {
	// contains filtered or unexported fields
}

type ProcessorStats struct {
	StartTime         time.Time
	EndTime           time.Time
	Duration          time.Duration
	SourcesLoaded     int
	TotalRowsLoaded   int
	TotalRowsExported int
	Errors            []error
}

type RabbitMQInputConfig struct {
	Host     string
	Port     int
	User     string
	Password string
	Queue    string
}

type RabbitMQOutputConfig struct {
	Host     string `yaml:"host"`
	Port     int    `yaml:"port"`
	User     string `yaml:"user"`
	Password string `yaml:"password"`
	Queue    string `yaml:"queue"`
	// VHost — виртуальный хост RabbitMQ. Пусто = "/", как и у самого RabbitMQ.
	// До этого поля документация YAML показывала vhost, а структура его не
	// читала: значение молча терялось, и пайплайн всегда шёл в "/".
	VHost string `yaml:"vhost"`
}

type ResultLogConfig struct {
	Type     string `yaml:"type"`     // Тип: redis (пустое = отключено)
	Address  string `yaml:"address"`  // Адрес Redis, например "127.0.0.1:6379"
	Name     string `yaml:"name"`     // Имя результата (ключ/канал), например "MASK_V001"
	Password string `yaml:"password"` // Пароль Redis (опционально)
	DB       int    `yaml:"db"`       // Индекс базы данных Redis (по умолчанию 0)
	TTL      int    `yaml:"ttl"`      // TTL ключа в секундах (по умолчанию 3600)
}

type SanitizeFieldsConfig struct {
	// Enabled включает санитайзинг. Можно опустить — достаточно задать translit или clear.
	Enabled bool `yaml:"enabled"`
	// Translit транслитерирует не-ASCII символы в ASCII через go-unidecode
	// (кириллица, европейские диакритики: "Имя" → "Imia", "Österreich" → "Osterreich").
	Translit bool `yaml:"translit"`
	// Clear заменяет спецсимволы безопасными токенами:
	// % → _pct, @ → _at, # → _xh, пробел → _, и т.д.
	// Оставшиеся не-ASCII символы заменяются на _.
	Clear bool `yaml:"clear"`
}

type SecurityConfig struct {
	MercuryURL        string `yaml:"mercury_url"`        // URL xZMercury, например "http://mercury:3000"
	RecipientResource string `yaml:"recipient_resource"` // Имя ресурса/очереди получателя
	KeyTTLSeconds     int    `yaml:"key_ttl_seconds"`    // TTL ключа в Mercury Redis (по умолчанию 86400)
	MercuryTimeoutMs  int    `yaml:"mercury_timeout_ms"` // Таймаут обращения к xZMercury (по умолчанию 5000)
	ServerSecret      string `yaml:"server_secret"`      // HMAC-ключ xZMercury; fallback: $MERCURY_SERVER_SECRET
}

type SourceConfig struct {
	Name             string `yaml:"name"`               // Имя источника (будет использовано как имя таблицы в workspace)
	Type             string `yaml:"type"`               // Тип: postgres, mssql, mysql, sqlite, tdtp, tdtp-enc, tdtp-s3, csv
	DSN              string `yaml:"dsn"`                // Data Source Name: строка подключения, путь к файлу или s3://bucket/key
	Query            string `yaml:"query"`              // SQL запрос для извлечения данных (не используется для type: tdtp/tdtp-enc/tdtp-s3)
	Timeout          int    `yaml:"timeout"`            // Таймаут в секундах (0 = без таймаута)
	MultiPart        bool   `yaml:"multi_part"`         // Для type: tdtp/tdtp-s3 — загружать все части набора автоматически
	MercuryURL       string `yaml:"mercury_url"`        // Только для type: tdtp-enc — URL xZMercury (например "http://mercury:3000")
	MercuryTimeoutMs int    `yaml:"mercury_timeout_ms"` // Только для type: tdtp-enc — таймаут обращения к xZMercury (по умолчанию 5000)
	// NoDateSentinels — список дат-заглушек для "нет даты" (DB-specific conventions).
	// Пример для MSSQL: ["1900-01-01", "1753-01-01"]
	NoDateSentinels []string `yaml:"no_date_sentinels"`
	// S3 — конфигурация S3-совместимого хранилища (SeaweedFS, MinIO и т.п.).
	// Используется только для type: tdtp-s3. DSN может быть s3://bucket/key (bucket перекрывает S3.Bucket)
	// или просто ключом (путём к объекту) при заданном S3.Bucket.
	S3 *storage.S3Config `yaml:"s3,omitempty"`
	// CSV loads raw text. Business types and validation belong in transform.sql.
	CSV *CSVSourceConfig `yaml:"csv,omitempty"`
	// Sanitize — правила санитайзинга имён полей.
	// Применяется к схеме источника до загрузки данных в workspace.
	// Пример:
	//   sanitize:
	//     translit: true   # "Имя" → "Imia"
	//     clear: true      # "Total %" → "Total_pct"
	Sanitize *SanitizeFieldsConfig `yaml:"sanitize,omitempty"`
	// Fast — пропустить DetectAndApply (SpecialValues) для этого источника.
	// Переопределяет performance.fast на уровне источника.
	Fast bool `yaml:"fast"`
}

type SourceData struct {
	SourceName string
	TableName  string
	Packet     *packet.DataPacket
	Error      error
}

type StreamingExportResult struct {
	OutputType  string
	Destination string
	TotalParts  int
	TotalRows   int
	PartsSent   int
	ErrorsCount int
	Errors      []error
}

type StreamingResult struct {
	Schema    packet.Schema
	RowsChan  <-chan []string
	ErrorChan <-chan error
}

type TDTPOutputConfig struct {
	Format      string `yaml:"format"`      // Формат: xml, json (в будущем)
	Compression bool   `yaml:"compression"` // Использовать сжатие
	// Compress — второй YAML-ключ для того же факта, ради совместимости с CLI.
	// SetDefaults складывает его в Compression и обнуляет, так что дальше по
	// коду читать нужно ТОЛЬКО Compression. Читать это поле напрямую — значит
	// видеть false у конфига, где сжатие включено.
	Compress      bool              `yaml:"compress"`
	CompressAlgo  string            `yaml:"compress_algo"`  // Алгоритм: zstd (по умолчанию) или kanzi
	CompressLevel int               `yaml:"compress_level"` // Уровень: 1-19 (zstd), 6-7 (kanzi)
	Destination   string            `yaml:"destination"`    // Путь к файлу или s3://bucket/key
	Encryption    bool              `yaml:"encryption"`     // Шифровать результат через xZMercury (AES-256-GCM)
	EncryptionV13 bool              `yaml:"encryption_v13"` // true = legacy TDTP v1.3 whole-blob формат вместо v1.5 section-level (по умолчанию)
	Compact       bool              `yaml:"compact"`        // v1.3.1: compact format
	CompactTail   bool              `yaml:"compact_tail"`   // v1.3.1: tail-строка
	FixedFields   []string          `yaml:"fixed_fields"`   // v1.3.1: явный список fixed полей
	S3            *storage.S3Config `yaml:"s3,omitempty"`   // S3-совместимое хранилище (SeaweedFS, MinIO и т.п.)
	// Fast — пропустить DetectAndApply при генерации выходных TDTP/Kafka-пакетов.
	// Переопределяет performance.fast на уровне output.
	Fast bool `yaml:"fast"`
	// Columnar — Data.Layout="columns" (--columnar на CLI). До этого поля
	// пайплайн не мог попросить колоночную раскладку никак.
	Columnar bool `yaml:"columnar"`
	// PacketSizeMB — размер части в МБ реального XML (--packet-size на CLI).
	// 0 = дефолт генератора (~1.9 МБ). НЕ то же самое, что packet_kb у
	// Kafka-вывода: там нет множителя ×2, и выравнивать формулы нельзя
	// (см. packet.PacketSizeBudget и CLAUDE.md).
	PacketSizeMB int `yaml:"packet_size_mb"`
	// Integrity — проставить v1.4 xxh3_128 хеши (Schema+Data+Packet),
	// независимо от Encryption. Раньше этот шаг попадал в цепочку только
	// как побочный эффект encryption: true — обычный (нешифрованный)
	// экспорт не мог получить хеш никаким способом. Зеркалит --integrity
	// у CLI (pkg/cli/commands/export.go, needsIntegrity): без
	// security.mercury_url — только локальный хеш для последующей сверки,
	// с ним — ещё и регистрация в xZMercury.
	Integrity bool `yaml:"integrity"`
}

type TransformConfig struct {
	SQL         string `yaml:"sql"`          // SQL запрос для трансформации
	ResultTable string `yaml:"result_table"` // Имя таблицы с результатом (опционально)
	Timeout     int    `yaml:"timeout"`      // Таймаут выполнения в секундах
}

type Workspace struct {
	// contains filtered or unexported fields
}

type WorkspaceConfig struct {
	Type   string         `yaml:"type"`   // Тип: sqlite (только sqlite поддерживается)
	Mode   string         `yaml:"mode"`   // Режим: memory (:memory:) или путь к файлу
	Config map[string]any `yaml:"config"` // Дополнительные настройки SQLite
}

type XLSXOutputConfig struct {
	Destination string `yaml:"destination"` // Путь к выходному файлу
	Sheet       string `yaml:"sheet"`       // Имя листа (пустое = имя таблицы результата)
}