nyn

type Crawler struct {
	Global map[string]interface{}
	// contains filtered or unexported fields
}

type CrawlerOptions struct {
	// Dir 是爬虫的工作目录. 若 dir 已存在则尝试从 dir 复原爬虫的工作状态, 若 dir 不存在则创建之
	Dir string

	// NoDefaultFileLogger 若为真, 则不使用默认的 stdout logger
	NoDefaultStdoutLogger bool
	// DefaultLoggerLevel 是爬虫默认 stdout logger 的级别
	// 如果为 0 则会认作 LInfo
	DefaultStdoutLoggerLogLevel logger.Level
	// NoDefaultFileLogger 若为真, 则不使用默认的 file logger
	NoDefaultFileLogger bool
	// DefaultLoggerLevel 是爬虫默认 file logger 的级别
	// 如果为 0 则会认作 LInfo
	DefaultFileLoggerLogLevel logger.Level
	// Logger logger, 若 RemoveDefaultLogger 为真, 则为唯一的 logger, 否则与默认 logger 共存
	Logger logger.Logger

	// Scheduler 如果不为 nil, 则将替换掉爬虫的默认调度器
	Scheduler scheduler.Scheduler

	// DefaultWokerPoolWorkers 是默认任务池的 worker 数
	DefaultWorkerPoolWorkers int

	Mode scheduler.Mode
}

type FilterResult int

type RequestOptions = taskqueue.EnqueueOptions

type Task interface {
	Fetch(c *Crawler, self Task) (payload interface{}, err error)
	Process(c *Crawler, self Task, payload interface{}) (result taskqueue.ProcessResult, err error)
}

type WithFilter interface {
	Filter(c *Crawler, self Task) (FilterResult, error)
}

type WithPayloadDecorator interface {
	DecoratePayload(c *Crawler, self Task, payload interface{}) (decoratedPayload interface{}, err error)
}