高效数据采集方案：快速部署与应用 AnyCrawl 网页爬虫工具实操指南

一、简介

• AnyCrawl 提供高性能网页数据爬取，其功能专为 LLM 集成和数据处理而设计
• 支持利用搜索引擎直接查询获取结果内容，类似 searxng
• 提供开发者友好的API，支持动态内容抓取，并输出结构化数据，如markdown、网站元信息等
• 支持Docker一键快速部署，资源占用相对较低
• 项目开源，地址参考：https://github.com/any4ai/AnyCrawl
• 该项目大概工作原理如下图所示：
  

二、安装

• 提前准备好Docker、docker-compose软件环境
• 新建docker-compose.yml配置文件，内容如下（确保8080不被占用，如已被占用，请修改下面的端口映射配置）：

  name: anycrawl
  x-common-service: &common-service
    networks:
      - anycrawl-network
    volumes:
      - ./storage:/usr/src/app/storage
  x-common-env: &common-env
    NODE_ENV: ${NODE_ENV:-production}
    ANYCRAWL_HEADLESS: ${ANYCRAWL_HEADLESS:-true}
    ANYCRAWL_PROXY_URL: ${ANYCRAWL_PROXY_URL:-}
    ANYCRAWL_IGNORE_SSL_ERROR: ${ANYCRAWL_IGNORE_SSL_ERROR:-true}
    ANYCRAWL_REDIS_URL: ${ANYCRAWL_REDIS_URL:-redis://redis:6379}
    ANYCRAWL_API_PORT: ${ANYCRAWL_API_PORT:-8080}
    ANYCRAWL_API_AUTH_ENABLED: ${ANYCRAWL_API_AUTH_ENABLED:-false}
    ANYCRAWL_API_DB_TYPE: "sqlite"
    ANYCRAWL_API_DB_CONNECTION: "/usr/src/app/db/database.db"
  services:
    api:
      <<: *common-service
      image: ghcr.io/any4ai/anycrawl-api
      environment:
        <<: *common-env
      ports:
        - "8080:8080"
      volumes:
        - ./storage:/usr/src/app/storage
        - ./db:/usr/src/app/db
      depends_on:
        - redis
    scrape-puppeteer:
      <<: *common-service
      image: ghcr.io/any4ai/anycrawl-scrape-puppeteer
      environment:
        <<: *common-env
      depends_on:
        - redis
    scrape-playwright:
      <<: *common-service
      image: ghcr.io/any4ai/anycrawl-scrape-playwright
      environment:
        <<: *common-env
      depends_on:
        - redis
    scrape-cheerio:
      <<: *common-service
      image: ghcr.io/any4ai/anycrawl-scrape-cheerio
      environment:
        <<: *common-env
      depends_on:
        - redis
    redis:
      image: redis:7-alpine
      volumes:
        - redis-data:/data
      networks:
        - anycrawl-network
      command: redis-server --appendonly yes
  volumes:
    redis-data:
  networks:
    anycrawl-network:
      driver: bridge

• 一键启动，执行如下命令

  docker-compose up -d

  查看所有服务是否正常运行
  

三、使用示例

1. 爬取一篇文章内容，返回 LLM 友好的markdown内容

• 爬取网页接口：http://127.0.0.1:8080/v1/scrape
• 请求方法：POST
• 请求参数：

  {
      "url": "https://blog.luler.top/d/55", //网页链接
      "engine": "playwright", //支持多种引擎，cheerio、puppeteer 、playwright，cheerio适合静态网页，puppeteer 、playwright适合动态网页
      "proxy": "http://127.0.0.1:10808" //支持设置代理，非必填
  }

• Postman请求示例截图如下：
  

2. 获取搜索引擎结果 (SERP)

• 爬取网页接口：http://127.0.0.1:8080/v1/search
• 请求方法：POST
• 请求参数：

  {
      "query": "最新的AI资讯", //要搜索查询的内容
      "pages": 1, //分页
      "limit": 10, //限制返回数量
      "engine": "google", //指定搜索引擎，好像目前只有google
      "lang": "zh"  //指定查询的语言，例如en、zh、all
  }

• Postman请求示例截图如下：
  

四、总结

• 安装使用都挺方便的，性能较高，总体感觉比 Firecrawl 优雅好用
• 提供简易的搜索查询服务，可以获取到一些实时讯息，可以作为 LLM 联网能力组件