MagnetDHT

基于 DHT 网络的磁力链接爬虫，采用 收集与解析分离架构 ，支持元数据解析、文件类型过滤和实时 Web 监控。

核心功能

• DHT 网络爬取 ：主动发现并加入 DHT 网络，监听磁力链接 announce 消息
• 元数据解析 ：独立解析服务，通过 BEP-9 协议从 Peer 端下载并解析 torrent 元数据
• Web 管理界面 ：暗色主题，支持实时状态监控、搜索过滤、导出数据
• 灵活启停 ：爬虫与解析器可独立控制，支持暂停/恢复
• 数据持久化 ：SQLite 数据库，包含 magnets、peers、files 三张核心表

技术特点

• 解耦架构 ：DHT 收集只负责入库，解析器独立从数据库取任务，互不阻塞
• 并发优化 ：批量写入数据库、多线程 Peer 发现、并发元数据获取
• 健壮性 ：TCP Keep-alive、超时重试、请求清理机制
• 统计追踪 ：记录实际活跃时长、抓取统计、失败重试计数

附件

MagnetDHT.zip