开源的 “自托管网页归档” 工具

在

 

开源的 “自托管网页归档” 工具



什么是 ArchiveBox？

ArchiveBox 是一个开源的、自托管的网页归档解决方案，它可以帮助个人或者组织将网页内容保存下来，方便离线浏览并且确保数据长期可访问

其目标是让用户主动保存自己关心的网页内容，避免因链接失效、内容变更或服务下线而丢失重要信息。可以归档：书签、社交媒体内容（如 Facebook 照片、YouTube 视频）、研究论文、法律证据等

核心功能与技术特点

输入方式多样

可以从多种来源向 ArchiveBox 输入要保存的内容，包括：

  • 单独 URL
  • 浏览器书签或历史记录
  • RSS 订阅源
  • Pocket、Pinboard 等收藏服务

自动抓取并以多种格式保存内容

ArchiveBox 会对每个页面生成多种归档格式，如：

  • 原始 HTML、SingleFile HTML、截图 PNG、PDF、WARC 等
  • 社交媒体内容：TXT 文本、评论、作者、图片等
  • 媒体内容：MP3/MP4、字幕、元数据、缩略图等
  • 代码托管服务（GitHub/GitLab）：克隆代码、README 等

多种访问方式

  • 命令行工具（CLI）：完整控制与自动化脚本集成
  • Web 应用界面：直观操作与预览
  • Python 库 / REST API / Webhooks：便于二次开发与集成

数据存储方式

  • 使用文件系统保存，无需专有格式
  • 归档内容保存在本地文件夹中，可长期使用或迁移

安装与部署方式

ArchiveBox 支持多种安装方式，推荐如下几种：

  1. Docker / Docker Compose（推荐）
    包含所有依赖，便于部署与升级。

  2. 命令行安装（适用于 Linux / macOS / Debian 等）

    pip install archivebox
archivebox install

    或者使用 curl | bash 的一键脚本。

  3. 支持的平台：Linux、macOS、BSD（原生），Windows 可通过 Docker 或 WSL2 使用

  4. 资源要求：最低500 MB RAM，建议 ≥2 GB；支持压缩存储的文件系统（如 ZFS、BTRFS）更高效

工作原理与设计理念

  • ArchiveBox 利用多种工具（如 wget、headless Chrome）抓取内容。
  • 作者认为核心优势在于“去中心化”，避免将所有网络归档依赖单一服务（如 archive.org），通过用户自行保存并可未来镜像共享
  • 项目采用 Django 框架构建后端，使用 SQLite 作为本地数据库；插件系统基于 Pluggy；REST API 使用 django-ninja 和 Pydantic

快速上手示例

  1. 初始化项目目录

    mkdir my_archive && cd my_archive
archivebox init --setup

  2. 添加要归档的 URL

    archivebox add https://example.com

  3. 启动本地 Web 服务预览

    archivebox server

  4. 导入历史记录或书签
    支持导入 Pocket、Pinboard、浏览器书签、RSS 源等

社区反馈与使用场景

开发者在 Reddit 讨论中提到，ArchiveBox 是一个复杂但功能丰富的 Django 项目，可以替代 archive.org，实现更多格式抓取（截图、PDF 等）

其他使用者则强调它能强化网络内容保存的自主性与冗余备份能力

总结一览表

特性描述
类型开源、自托管网页归档工具
支持输入URL、书签、历史、RSS、收藏服务
保存格式HTML、PDF、PNG、WARC、音视频、文本、代码等
使用方式CLI / Web 界面 / API
推荐安装方式Docker 或 pip + install 脚本
适用平台Linux/macOS/BSD 原生；Windows 通过 Docker 或 WSL2
技术栈Python、Django、SQLite、Pluggy、django-ninja
设计理念分布式、数据控制权、自主长期存档

Github：https://github.com/ArchiveBox/archivebox
油管：https://youtu.be/eA-GWLVi4X0


留言

發佈留言