scraper

package
v4.2.9 Latest Latest
Warning

This package is not in the latest version of its module.

Go to latest
Published: Oct 24, 2026 License: AGPL-3.0 Imports: 35 Imported by: 0

Documentation

Index

Constants

View Source
const (
	// MaxImageFileBytes 单张待刮削图片的最大字节数
	MaxImageFileBytes int64 = 32 << 20
	// MaxBookFileBytes 单本待提取封面的书籍(epub/pdf)最大字节数
	MaxBookFileBytes int64 = 128 << 20
	// MaxEmbeddedEntryBytes epub(zip) 内单个封面条目的最大解压字节数,防止 zip 炸弹
	MaxEmbeddedEntryBytes int64 = 16 << 20
	// MaxImagePixels 解码前允许的最大像素总量(约 5657x5657)。
	// 解码后按 RGBA 计算约 128MB,默认 5 路并发刮削最坏约 640MB;
	// 原来的 64MP 单张就要 256MB,并发时会接近 1.3GB。
	MaxImagePixels int64 = 32_000_000
	// MaxRawCoverFallbackBytes 解码失败时退回「原始字节 base64 写库」的上限。
	// 超过就直接放弃封面——否则单条记录可能写入 16MB 以上的 base64。
	MaxRawCoverFallbackBytes = 512 << 10
)

刮削阶段会把文件整体读入内存再解码,必须限制单文件大小与像素总量, 否则几路并发刮削一张超大图片/压缩炸弹就能把进程内存打满。

View Source
const (
	// ThumbModeBase64 缩略图以 base64 存入数据库
	ThumbModeBase64 = "base64"
	// ThumbModeRuntime 缩略图存入程序数据目录(<data>/<thumbnail_path>)
	ThumbModeRuntime = "runtime"
	// ThumbModeVFS 缩略图写入挂载目录(VFS 路径)
	ThumbModeVFS = "local"
)

缩略图存储模式

Variables

View Source
var ErrTooLarge = errors.New("scraper: content exceeds size limit")

ErrTooLarge 内容超过读取上限

Functions

func DownloadCoverToStorage

func DownloadCoverToStorage(ctx context.Context, imgURL, rawPath, thumbMode, thumbPath string) string

DownloadCoverToStorage 下载远程封面并按缩略图配置保存,失败返回空字符串

func NormalizeThumbMode

func NormalizeThumbMode(mode string) string

NormalizeThumbMode 归一化缩略图模式,未知/空值按运行目录处理

func ResetTMDBStats

func ResetTMDBStats()

ResetTMDBStats 重置统计(仅用于测试或运维触发)

func RuntimeThumbRoot

func RuntimeThumbRoot(thumbPath string) string

RuntimeThumbRoot 返回运行目录模式下缩略图的本地根目录

func SaveThumb

func SaveThumb(ctx context.Context, mode, thumbPath, rawPath, mimeType string, data []byte) string

SaveThumb 按模式保存缩略图数据,返回 cover 字段值。 rawPath 为媒体文件的完整 VFS 路径,用于生成稳定且唯一的文件名。

func ScrapeLanguage

func ScrapeLanguage() string

ScrapeLanguage 返回首选刮削语言(BCP-47,如 zh-CN / en-US),未配置时默认中文。

func ScrapeLanguagePrimary

func ScrapeLanguagePrimary() string

ScrapeLanguagePrimary 返回 ISO 639-1 主语言代码(如 zh / en), 供只接受两位语言码的接口使用(Google Books 的 langRestrict)。

Types

type BookLocalScraper

type BookLocalScraper struct {
	// ThumbnailMode 缩略图存储方式:"base64"(默认,存入数据库)或 "local"(存到本地文件)
	ThumbnailMode string
	// ThumbnailPath 本地存储路径,ThumbnailMode 为 "local" 时有效,默认 "/.thumbnail"
	ThumbnailPath string
}

BookLocalScraper 书籍本地刮削器 尝试从书籍文件中提取封面图片并以 base64 存入 Cover 字段,或保存到本地文件。 - EPUB:解压 zip,提取 OPF 声明的封面或 cover.jpg/cover.png - PDF:尝试提取内嵌 JPEG 图片流作为封面 - 其他/失败:降级为文件路径

func NewBookLocalScraper

func NewBookLocalScraper() *BookLocalScraper

NewBookLocalScraper 创建书籍本地刮削器

func NewBookLocalScraperWithConfig

func NewBookLocalScraperWithConfig(thumbnailMode, thumbnailPath string) *BookLocalScraper

NewBookLocalScraperWithConfig 创建带完整配置的书籍本地刮削器

func (*BookLocalScraper) ExtractLocalCover

func (s *BookLocalScraper) ExtractLocalCover(fileName string, filePath string, reader io.Reader) string

ExtractLocalCover 从书籍文件流中提取封面并根据配置存储(供外部调用)。 提取失败返回空字符串,不降级为文件路径。

func (*BookLocalScraper) ScrapeBookLocal

func (s *BookLocalScraper) ScrapeBookLocal(item *model.MediaItem, reader io.Reader) error

ScrapeBookLocal 从书籍文件流中提取封面图片,填充基本信息。 reader 为书籍文件内容流,不能为 nil。 返回提取到的封面 base64 字符串(data URI),提取失败返回空字符串。 注意:本函数不会将文件路径作为 cover 降级,cover 为空表示提取失败。

type DiscogsScraper

type DiscogsScraper struct {
	Token   string
	BaseURL string // 可自定义的 Discogs API 地址
	// contains filtered or unexported fields
}

DiscogsScraper Discogs音乐刮削器

func NewDiscogsScraper

func NewDiscogsScraper(token string, baseURL string) *DiscogsScraper

NewDiscogsScraper 创建Discogs刮削器

用户只需填写「域名 + API 前缀」,例如:

  1. 留空:使用默认 https://api.discogs.com
  2. 官方:api.discogs.com -> https://api.discogs.com
  3. 反代:example.edgeone.run/api/discogs -> https://example.edgeone.run/api/discogs
  4. 反代:example.edgeone.run/api/discogs/ -> https://example.edgeone.run/api/discogs(自动去尾斜杠)

后续会基于 BaseURL 直接拼接 /database/search、/releases/{id} 等具体路径。

func (*DiscogsScraper) ScrapeMusic

func (s *DiscogsScraper) ScrapeMusic(item *model.MediaItem) error

ScrapeMusic 刮削音乐/专辑信息

type DoubanScraper

type DoubanScraper struct {

	// ThumbnailMode 缩略图存储方式:"base64"(默认,存入数据库)或 "local"(存到本地文件)
	ThumbnailMode string
	// ThumbnailPath 本地存储路径,ThumbnailMode 为 "local" 时有效,默认 "/.thumbnail"
	ThumbnailPath string
	// contains filtered or unexported fields
}

DoubanScraper 豆瓣书籍刮削器(移植自 NewDouban.py)

func NewDoubanScraper

func NewDoubanScraper() *DoubanScraper

NewDoubanScraper 创建豆瓣刮削器

func NewDoubanScraperWithConfig

func NewDoubanScraperWithConfig(thumbnailMode, thumbnailPath string) *DoubanScraper

NewDoubanScraperWithConfig 创建带完整配置的豆瓣刮削器

func (*DoubanScraper) ScrapeBook

func (s *DoubanScraper) ScrapeBook(item *model.MediaItem) error

ScrapeBook 刮削书籍信息

type GoogleBooksScraper

type GoogleBooksScraper struct {
	APIKey        string
	ThumbnailMode string
	ThumbnailPath string
	// contains filtered or unexported fields
}

GoogleBooksScraper 通过 Google Books API 刮削书籍

func NewGoogleBooksScraper

func NewGoogleBooksScraper(apiKey, thumbnailMode, thumbnailPath string) *GoogleBooksScraper

func (*GoogleBooksScraper) ScrapeBook

func (s *GoogleBooksScraper) ScrapeBook(item *model.MediaItem) error

ScrapeBook 用 Google Books 填充书籍信息,封面保存为远程链接(由调用方决定是否落盘)

type ImageScraper

type ImageScraper struct {
	// StoreThumbnail 为 true 时生成缩略图写入 Cover;
	// 为 false 时直接用文件路径作为 Cover,节省数据库空间。
	StoreThumbnail bool
	// ThumbnailMode 缩略图存储方式:"base64"(默认,存入数据库)或 "local"(存到本地文件)
	ThumbnailMode string
	// ThumbnailPath 本地存储路径,ThumbnailMode 为 "local" 时有效,默认 "/.thumbnail"
	ThumbnailPath string
}

ImageScraper 图片刮削器 从图片 EXIF 中提取元数据,并生成缩略图写入 Cover 字段。

func NewImageScraper

func NewImageScraper(storeThumbnail bool) *ImageScraper

NewImageScraper 创建图片刮削器 storeThumbnail 为 true 时生成缩略图写入 Cover。

func NewImageScraperWithConfig

func NewImageScraperWithConfig(storeThumbnail bool, thumbnailMode, thumbnailPath string) *ImageScraper

NewImageScraperWithConfig 创建带完整配置的图片刮削器

func (*ImageScraper) ScrapeImage

func (s *ImageScraper) ScrapeImage(item *model.MediaItem, reader io.Reader) error

ScrapeImage 刮削图片信息 reader 为图片文件内容流,必须传入有效流才能生成缩略图。 当 reader 不为 nil 时:

  • 从 EXIF 读取拍摄时间、GPS 地点、相机型号+参数、评分
  • 生成 300px 宽缩略图,根据 ThumbnailMode 存储为 Base64 或本地文件

注意:绝不将文件路径作为 cover,reader 为 nil 或缩略图生成失败时 cover 保持为空。

type OpenLibraryScraper

type OpenLibraryScraper struct {
	ThumbnailMode string
	ThumbnailPath string
	// contains filtered or unexported fields
}

OpenLibraryScraper 通过 OpenLibrary Search API 刮削书籍(无需凭据)

func NewOpenLibraryScraper

func NewOpenLibraryScraper(thumbnailMode, thumbnailPath string) *OpenLibraryScraper

func (*OpenLibraryScraper) ScrapeBook

func (s *OpenLibraryScraper) ScrapeBook(item *model.MediaItem) error

ScrapeBook 用 OpenLibrary 填充书籍信息,封面保存为远程链接(由调用方决定是否落盘)

type TMDBScraper

type TMDBScraper struct {
	APIKey  string
	BaseURL string // 含 /3 版本路径的最终请求地址,例如 https://api.themoviedb.org/3
	// contains filtered or unexported fields
}

TMDBScraper TMDB视频刮削器

func NewTMDBScraper

func NewTMDBScraper(apiKey string, baseURL string) *TMDBScraper

NewTMDBScraper 创建TMDB刮削器 baseURL 为可自定义的 TMDB API 服务地址,为空时使用默认 https://api.themoviedb.org/3

支持的填写形式:

  1. 留空:使用默认 https://api.themoviedb.org/3
  2. 官方主域名(不带路径):如 api.themoviedb.org / https://api.themoviedb.org,自动补全协议和 /3 版本路径
  3. 反代/自定义完整路径:如 https://eo-tmd.example.com/api/tmdb/3,会原样使用,不再追加 /3

func (*TMDBScraper) ScrapeVideo

func (s *TMDBScraper) ScrapeVideo(item *model.MediaItem) error

ScrapeVideo 刮削视频信息

type TMDBStats

type TMDBStats struct {
	TotalScraped       int64 // 总刮削请求次数(每次 ScrapeVideo 调用 +1)
	HitCount           int64 // 成功刮到结果的次数(搜索阶段命中即停)
	NoMatchCount       int64 // 完全 0 命中的次数
	LowConfidenceCount int64 // 命中但低于阈值,使用了「最佳兜底」结果的次数
	TotalAttempts      int64 // 累计 TMDB 搜索请求次数(不含详情)
	TotalSearchMillis  int64 // 累计搜索耗时(毫秒)
}

TMDBStats TMDB 刮削统计(线程安全:原子计数) 仅记录一次进程级别的累积值;如需更精细可按 ScraperID 分桶

func GetTMDBStats

func GetTMDBStats() TMDBStats

GetTMDBStats 返回当前进程的 TMDB 刮削统计快照

type TitleCandidate

type TitleCandidate struct {
	Name       string  // 待搜索的标题字符串
	Lang       string  // "zh-CN" / "en-US" / ""(不指定)
	Year       string  // 候选年份(可空)
	Confidence float32 // 0-1,越高越优先;用于排序与「命中可信度」校验
	Source     string  // 来源标签:bracket-cn / main-cn / merged-cn / sub-cn / extra-cn / main-en / degenerate-cn / degenerate-en
}

TitleCandidate 单个搜索候选 用于把文件名解析出来的多组标题/语言/年份/置信度统一成一条「线索」, 然后按 Confidence 排序后,逐条尝试 TMDB 搜索。

Jump to

Keyboard shortcuts

? : This menu
/ : Search site
f or F : Jump to
y or Y : Canonical URL