operations

type BatchDownloadInfo struct {
	flow.Info
	export.FileExporterConfig
	DownloadCfg

	// 工作数据源
	InputFile    string // 工作数据源：文件
	ItemSeparate string // 工作数据源：每行元素按分隔符分的分隔符
}

type BatchDownloadWithConfigInfo struct {
	flow.Info
	export.FileExporterConfig

	// 工作数据源
	InputFile    string // 工作数据源：文件
	ItemSeparate string // 工作数据源：每行元素按分隔符分的分隔符

	LocalDownloadConfig string
}

type DownloadCfg struct {
	FileEncoding           string `json:"file_encoding,omitempty"`
	KeyFile                string `json:"key_file,omitempty"`
	DestDir                string `json:"dest_dir,omitempty"`
	Bucket                 string `json:"bucket,omitempty"`
	Prefix                 string `json:"prefix,omitempty"`
	SavePathHandler        string `json:"save_path_handler"`
	Suffixes               string `json:"suffixes,omitempty"`
	IoHost                 string `json:"io_host,omitempty"`
	Public                 bool   `json:"public,omitempty"`
	CheckSize              bool   `json:"check_size,omitempty"`
	CheckHash              bool   `json:"check_hash,omitempty"`
	EnableSlice            bool   `json:"enable_slice"`
	SliceFileSizeThreshold int64  `json:"slice_file_size_threshold"`
	SliceSize              int64  `json:"slice_size"`
	SliceConcurrentCount   int    `json:"slice_concurrent_count"`

	//down from cdn
	Referer   string `json:"referer,omitempty"`
	CdnDomain string `json:"cdn_domain,omitempty"` // 废弃
	Domain    string `json:"domain,omitempty"`

	// 是否使用 getfile api，私有云使用
	GetFileApi bool `json:"get_file_api"`

	// 当遇到错误时删除临时文件
	RemoveTempWhileError bool `json:"remove_temp_while_error"`

	// 下载状态保存路径
	RecordRoot string `json:"record_root,omitempty"`
}

type DownloadInfo struct {
	Bucket                 string // 文件被保存的 bucket
	Key                    string // 文件被保存的 key
	ToFile                 string // 文件保存的路径
	UseGetFileApi          bool   //
	IsPublic               bool   //
	CheckSize              bool   // 是否检测文件大小
	CheckHash              bool   // 是否检测文件 hash
	Domain                 string // 下载的 domain
	RemoveTempWhileError   bool   //
	EnableSlice            bool   // 允许切片下载
	SliceFileSizeThreshold int64  // 允许切片下载，切片下载出发的文件大小阈值，考虑到不希望所有文件都使用切片下载的场景
	SliceSize              int64  // 允许切片下载，切片的大小
	SliceConcurrentCount   int    // 允许切片下载，并发下载切片的个数
}

type Metric struct {
	batch.Metric

	ExistCount  int64 `json:"exist_count"`
	UpdateCount int64 `json:"update_count"`
}