Documentation
¶
Index ¶
- Constants
- Variables
- func DownloadCoverToStorage(ctx context.Context, imgURL, rawPath, thumbMode, thumbPath string) string
- func NormalizeThumbMode(mode string) string
- func ResetTMDBStats()
- func RuntimeThumbRoot(thumbPath string) string
- func SaveThumb(ctx context.Context, mode, thumbPath, rawPath, mimeType string, data []byte) string
- func ScrapeLanguage() string
- func ScrapeLanguagePrimary() string
- type BookLocalScraper
- type DiscogsScraper
- type DoubanScraper
- type GoogleBooksScraper
- type ImageScraper
- type OpenLibraryScraper
- type TMDBScraper
- type TMDBStats
- type TitleCandidate
Constants ¶
const ( // MaxImageFileBytes 单张待刮削图片的最大字节数 MaxImageFileBytes int64 = 32 << 20 // MaxBookFileBytes 单本待提取封面的书籍(epub/pdf)最大字节数 MaxBookFileBytes int64 = 128 << 20 // MaxEmbeddedEntryBytes epub(zip) 内单个封面条目的最大解压字节数,防止 zip 炸弹 MaxEmbeddedEntryBytes int64 = 16 << 20 // MaxImagePixels 解码前允许的最大像素总量(约 5657x5657)。 // 解码后按 RGBA 计算约 128MB,默认 5 路并发刮削最坏约 640MB; // 原来的 64MP 单张就要 256MB,并发时会接近 1.3GB。 MaxImagePixels int64 = 32_000_000 // MaxRawCoverFallbackBytes 解码失败时退回「原始字节 base64 写库」的上限。 // 超过就直接放弃封面——否则单条记录可能写入 16MB 以上的 base64。 MaxRawCoverFallbackBytes = 512 << 10 )
刮削阶段会把文件整体读入内存再解码,必须限制单文件大小与像素总量, 否则几路并发刮削一张超大图片/压缩炸弹就能把进程内存打满。
const ( // ThumbModeBase64 缩略图以 base64 存入数据库 ThumbModeBase64 = "base64" // ThumbModeRuntime 缩略图存入程序数据目录(<data>/<thumbnail_path>) ThumbModeRuntime = "runtime" // ThumbModeVFS 缩略图写入挂载目录(VFS 路径) ThumbModeVFS = "local" )
缩略图存储模式
Variables ¶
var ErrTooLarge = errors.New("scraper: content exceeds size limit")
ErrTooLarge 内容超过读取上限
Functions ¶
func DownloadCoverToStorage ¶
func DownloadCoverToStorage(ctx context.Context, imgURL, rawPath, thumbMode, thumbPath string) string
DownloadCoverToStorage 下载远程封面并按缩略图配置保存,失败返回空字符串
func NormalizeThumbMode ¶
NormalizeThumbMode 归一化缩略图模式,未知/空值按运行目录处理
func RuntimeThumbRoot ¶
RuntimeThumbRoot 返回运行目录模式下缩略图的本地根目录
func ScrapeLanguage ¶
func ScrapeLanguage() string
ScrapeLanguage 返回首选刮削语言(BCP-47,如 zh-CN / en-US),未配置时默认中文。
func ScrapeLanguagePrimary ¶
func ScrapeLanguagePrimary() string
ScrapeLanguagePrimary 返回 ISO 639-1 主语言代码(如 zh / en), 供只接受两位语言码的接口使用(Google Books 的 langRestrict)。
Types ¶
type BookLocalScraper ¶
type BookLocalScraper struct {
// ThumbnailMode 缩略图存储方式:"base64"(默认,存入数据库)或 "local"(存到本地文件)
ThumbnailMode string
// ThumbnailPath 本地存储路径,ThumbnailMode 为 "local" 时有效,默认 "/.thumbnail"
ThumbnailPath string
}
BookLocalScraper 书籍本地刮削器 尝试从书籍文件中提取封面图片并以 base64 存入 Cover 字段,或保存到本地文件。 - EPUB:解压 zip,提取 OPF 声明的封面或 cover.jpg/cover.png - PDF:尝试提取内嵌 JPEG 图片流作为封面 - 其他/失败:降级为文件路径
func NewBookLocalScraper ¶
func NewBookLocalScraper() *BookLocalScraper
NewBookLocalScraper 创建书籍本地刮削器
func NewBookLocalScraperWithConfig ¶
func NewBookLocalScraperWithConfig(thumbnailMode, thumbnailPath string) *BookLocalScraper
NewBookLocalScraperWithConfig 创建带完整配置的书籍本地刮削器
func (*BookLocalScraper) ExtractLocalCover ¶
func (s *BookLocalScraper) ExtractLocalCover(fileName string, filePath string, reader io.Reader) string
ExtractLocalCover 从书籍文件流中提取封面并根据配置存储(供外部调用)。 提取失败返回空字符串,不降级为文件路径。
func (*BookLocalScraper) ScrapeBookLocal ¶
ScrapeBookLocal 从书籍文件流中提取封面图片,填充基本信息。 reader 为书籍文件内容流,不能为 nil。 返回提取到的封面 base64 字符串(data URI),提取失败返回空字符串。 注意:本函数不会将文件路径作为 cover 降级,cover 为空表示提取失败。
type DiscogsScraper ¶
type DiscogsScraper struct {
Token string
BaseURL string // 可自定义的 Discogs API 地址
// contains filtered or unexported fields
}
DiscogsScraper Discogs音乐刮削器
func NewDiscogsScraper ¶
func NewDiscogsScraper(token string, baseURL string) *DiscogsScraper
NewDiscogsScraper 创建Discogs刮削器
用户只需填写「域名 + API 前缀」,例如:
- 留空:使用默认 https://api.discogs.com
- 官方:api.discogs.com -> https://api.discogs.com
- 反代:example.edgeone.run/api/discogs -> https://example.edgeone.run/api/discogs
- 反代:example.edgeone.run/api/discogs/ -> https://example.edgeone.run/api/discogs(自动去尾斜杠)
后续会基于 BaseURL 直接拼接 /database/search、/releases/{id} 等具体路径。
func (*DiscogsScraper) ScrapeMusic ¶
func (s *DiscogsScraper) ScrapeMusic(item *model.MediaItem) error
ScrapeMusic 刮削音乐/专辑信息
type DoubanScraper ¶
type DoubanScraper struct {
// ThumbnailMode 缩略图存储方式:"base64"(默认,存入数据库)或 "local"(存到本地文件)
ThumbnailMode string
// ThumbnailPath 本地存储路径,ThumbnailMode 为 "local" 时有效,默认 "/.thumbnail"
ThumbnailPath string
// contains filtered or unexported fields
}
DoubanScraper 豆瓣书籍刮削器(移植自 NewDouban.py)
func NewDoubanScraperWithConfig ¶
func NewDoubanScraperWithConfig(thumbnailMode, thumbnailPath string) *DoubanScraper
NewDoubanScraperWithConfig 创建带完整配置的豆瓣刮削器
func (*DoubanScraper) ScrapeBook ¶
func (s *DoubanScraper) ScrapeBook(item *model.MediaItem) error
ScrapeBook 刮削书籍信息
type GoogleBooksScraper ¶
type GoogleBooksScraper struct {
APIKey string
ThumbnailMode string
ThumbnailPath string
// contains filtered or unexported fields
}
GoogleBooksScraper 通过 Google Books API 刮削书籍
func NewGoogleBooksScraper ¶
func NewGoogleBooksScraper(apiKey, thumbnailMode, thumbnailPath string) *GoogleBooksScraper
func (*GoogleBooksScraper) ScrapeBook ¶
func (s *GoogleBooksScraper) ScrapeBook(item *model.MediaItem) error
ScrapeBook 用 Google Books 填充书籍信息,封面保存为远程链接(由调用方决定是否落盘)
type ImageScraper ¶
type ImageScraper struct {
// StoreThumbnail 为 true 时生成缩略图写入 Cover;
// 为 false 时直接用文件路径作为 Cover,节省数据库空间。
StoreThumbnail bool
// ThumbnailMode 缩略图存储方式:"base64"(默认,存入数据库)或 "local"(存到本地文件)
ThumbnailMode string
// ThumbnailPath 本地存储路径,ThumbnailMode 为 "local" 时有效,默认 "/.thumbnail"
ThumbnailPath string
}
ImageScraper 图片刮削器 从图片 EXIF 中提取元数据,并生成缩略图写入 Cover 字段。
func NewImageScraper ¶
func NewImageScraper(storeThumbnail bool) *ImageScraper
NewImageScraper 创建图片刮削器 storeThumbnail 为 true 时生成缩略图写入 Cover。
func NewImageScraperWithConfig ¶
func NewImageScraperWithConfig(storeThumbnail bool, thumbnailMode, thumbnailPath string) *ImageScraper
NewImageScraperWithConfig 创建带完整配置的图片刮削器
func (*ImageScraper) ScrapeImage ¶
ScrapeImage 刮削图片信息 reader 为图片文件内容流,必须传入有效流才能生成缩略图。 当 reader 不为 nil 时:
- 从 EXIF 读取拍摄时间、GPS 地点、相机型号+参数、评分
- 生成 300px 宽缩略图,根据 ThumbnailMode 存储为 Base64 或本地文件
注意:绝不将文件路径作为 cover,reader 为 nil 或缩略图生成失败时 cover 保持为空。
type OpenLibraryScraper ¶
type OpenLibraryScraper struct {
ThumbnailMode string
ThumbnailPath string
// contains filtered or unexported fields
}
OpenLibraryScraper 通过 OpenLibrary Search API 刮削书籍(无需凭据)
func NewOpenLibraryScraper ¶
func NewOpenLibraryScraper(thumbnailMode, thumbnailPath string) *OpenLibraryScraper
func (*OpenLibraryScraper) ScrapeBook ¶
func (s *OpenLibraryScraper) ScrapeBook(item *model.MediaItem) error
ScrapeBook 用 OpenLibrary 填充书籍信息,封面保存为远程链接(由调用方决定是否落盘)
type TMDBScraper ¶
type TMDBScraper struct {
APIKey string
BaseURL string // 含 /3 版本路径的最终请求地址,例如 https://api.themoviedb.org/3
// contains filtered or unexported fields
}
TMDBScraper TMDB视频刮削器
func NewTMDBScraper ¶
func NewTMDBScraper(apiKey string, baseURL string) *TMDBScraper
NewTMDBScraper 创建TMDB刮削器 baseURL 为可自定义的 TMDB API 服务地址,为空时使用默认 https://api.themoviedb.org/3
支持的填写形式:
- 留空:使用默认 https://api.themoviedb.org/3
- 官方主域名(不带路径):如 api.themoviedb.org / https://api.themoviedb.org,自动补全协议和 /3 版本路径
- 反代/自定义完整路径:如 https://eo-tmd.example.com/api/tmdb/3,会原样使用,不再追加 /3
func (*TMDBScraper) ScrapeVideo ¶
func (s *TMDBScraper) ScrapeVideo(item *model.MediaItem) error
ScrapeVideo 刮削视频信息
type TMDBStats ¶
type TMDBStats struct {
TotalScraped int64 // 总刮削请求次数(每次 ScrapeVideo 调用 +1)
HitCount int64 // 成功刮到结果的次数(搜索阶段命中即停)
NoMatchCount int64 // 完全 0 命中的次数
LowConfidenceCount int64 // 命中但低于阈值,使用了「最佳兜底」结果的次数
TotalAttempts int64 // 累计 TMDB 搜索请求次数(不含详情)
TotalSearchMillis int64 // 累计搜索耗时(毫秒)
}
TMDBStats TMDB 刮削统计(线程安全:原子计数) 仅记录一次进程级别的累积值;如需更精细可按 ScraperID 分桶
type TitleCandidate ¶
type TitleCandidate struct {
Name string // 待搜索的标题字符串
Lang string // "zh-CN" / "en-US" / ""(不指定)
Year string // 候选年份(可空)
Confidence float32 // 0-1,越高越优先;用于排序与「命中可信度」校验
Source string // 来源标签:bracket-cn / main-cn / merged-cn / sub-cn / extra-cn / main-en / degenerate-cn / degenerate-en
}
TitleCandidate 单个搜索候选 用于把文件名解析出来的多组标题/语言/年份/置信度统一成一条「线索」, 然后按 Confidence 排序后,逐条尝试 TMDB 搜索。