Firecrawl 🔥 大规模搜索、抓取和交互网页的 API

为什么选择 Firecrawl

为 AI 时代而生的
网络数据基础设施

从最棘手的 JS 渲染页面到大规模并发抓取，Firecrawl 帮你搞定所有繁琐细节。

行业领先的可靠性

覆盖 96% 的网页，包括重度 JS 渲染页面 —— 无需代理烦恼，直接获取干净数据。

极速响应

数百万页面的 P95 延迟仅为 3.4 秒，专为实时智能体和动态应用打造。

LLM 友好输出

干净的 Markdown、结构化 JSON、截图等 —— 更少的 Token 消耗，更好的 AI 应用体验。

处理繁琐事务

自动轮换代理、编排、速率限制、JS 拦截内容等 —— 零配置开箱即用。

智能体就绪

一条命令即可将 Firecrawl 连接到任何 AI 智能体或 MCP 客户端。

媒体解析

解析并提取网络上托管的 PDF、DOCX 等文件内容。

交互操作

在提取内容前，点击、滚动、输入、等待和按键 —— 真实浏览器交互。

完全开源

透明且协作开发 —— 加入我们的社区，一起打造更好的网络数据工具。

企业级安全

默认遵守 robots.txt，内置合规机制，可放心用于生产环境。

端点

一个 API，覆盖全场景

从单页抓取到全站爬取，Firecrawl 为每种需求都提供了专用端点。

CORE

核心端点

搜索 (Search)

搜索网页并获取搜索结果的完整页面内容

抓取 (Scrape)

将任意 URL 转换为 Markdown、HTML、截图或结构化 JSON

交互 (Interact)

抓取页面后，使用 AI 提示词或代码与其交互

MORE

5 分钟即可上手

在 firecrawl.dev 注册以获取 API 密钥，前往 playground 进行测试。

搜索 (Search)

搜索网页并获取搜索结果的完整内容。一次请求即可获得多个页面的 Markdown 内容，省去二次抓取。

✓支持全网搜索与站内搜索

✓自动返回结果的完整页面内容

✓可指定返回数量与时间范围

search.py

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

search_result = app.search("firecrawl", limit=5)

查看 Node.js / cURL / CLI

Node.js

import { Firecrawl } from 'firecrawl';

const app = new Firecrawl({apiKey: "fc-YOUR_API_KEY"});

app.search("firecrawl", { limit: 5 })

cURL

curl -X POST 'https://api.firecrawl.dev/v2/search' \
  -H 'Authorization: Bearer fc-YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
    "query": "firecrawl",
    "limit": 5
  }'

CLI

firecrawl search "firecrawl" --limit 5

↳ 响应

[
  {
    "url": "https://firecrawl.dev",
    "title": "Firecrawl",
    "markdown": "Turn websites into..."
  },
  {
    "url": "https://docs.firecrawl.dev",
    "title": "Firecrawl Docs",
    "markdown": "# Getting Started..."
  }
]

抓取 (Scrape)

从任意网站获取 LLM 就绪数据 —— Markdown、JSON、截图等。一次调用，多种输出格式。

✓支持 Markdown、HTML、JSON、截图等多种格式

✓智能处理 JS 渲染的 SPA 页面

✓可配置抓取选项（主内容、代理等）

scrape.py

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

result = app.scrape('firecrawl.dev')

查看 Node.js / cURL / CLI

Node.js

import { Firecrawl } from 'firecrawl';

const app = new Firecrawl({ apiKey: "fc-YOUR_API_KEY" });

app.scrape('firecrawl.dev')

cURL

curl -X POST 'https://api.firecrawl.dev/v2/scrape' \
  -H 'Authorization: Bearer fc-YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
    "url": "firecrawl.dev"
  }'

CLI

firecrawl scrape https://firecrawl.dev
firecrawl https://firecrawl.dev --only-main-content

↳ 响应 (Markdown)

# Firecrawl

Firecrawl 帮助 AI 系统搜索、抓取和交互网页。

## 功能
- 搜索：在全网查找信息
- 抓取：从任意页面获取干净数据
- 交互：点击、导航和操作页面
- 智能体：自主数据收集

交互 (Interact)

抓取页面后，使用 AI 提示词或代码与其交互。可以点击按钮、填写表单、滚动页面等。

✓自然语言指令驱动浏览器操作

✓支持点击、滚动、输入、等待等操作

✓提供 Live View 实时查看浏览器状态

interact.py

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

result = app.scrape("https://amazon.com")
scrape_id = result.metadata.scrape_id

app.interact(scrape_id, prompt="Search for 'mechanical keyboard'")
app.interact(scrape_id, prompt="Click the first result")

↳ 响应

{
  "success": true,
  "output": "Keyboard available at $100",
  "liveViewUrl": "https://liveview.firecrawl.dev/..."
}

🧠为 AI 智能体而生

为你的智能体赋能

几分钟内即可将 Firecrawl 连接到任何 AI 智能体或 MCP 客户端。

⚡

Skill（技能）

一条命令即可让你的智能体轻松访问实时网页数据。

npx -y firecrawl-cli@latest init \
  --all --browser

安装后重启你的智能体。支持 Claude Code、Antigravity、OpenCode 等。

🔌

MCP

几秒钟内将任何兼容 MCP 的客户端连接到网页。

{
  "mcpServers": {
    "firecrawl-mcp": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "fc-..."
      }
    }
  }
}

通用协议，兼容所有主流 MCP 客户端。

🤖

智能体入门

你是 AI 智能体吗？获取此 Skill，为你的用户注册并开始使用 Firecrawl。

curl -s https://firecrawl.dev/\
  agent-onboarding/SKILL.md

让你的智能体自动完成注册、获取密钥、构建应用全流程。

🤖AGENT

智能体 (Agent)

从网页获取数据的最简单方式。描述你的需求，AI 智能体会搜索、导航并检索数据，无需提供 URL。

Agent 是 /extract 端点的升级版：更快、更可靠，且无需提前知道 URL。

→支持结构化输出（基于 schema）
→可选择 spark-1-mini 或 spark-1-pro 模型
→可选地限定到特定 URL 集合

cURL

curl -X POST 'https://api.firecrawl.dev/v2/agent' \
  -H 'Authorization: Bearer fc-YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
    "prompt": "Find the pricing plans for Notion"
  }'

↳ 响应

{
  "success": true,
  "data": {
    "result": "Notion offers the following pricing plans:\n1. Free - $0/month...",
    "sources": ["https://www.notion.so/pricing"]
  }
}

模型选择

根据需求选择两种模型：

spark-1-mini 默认

便宜 60%

适用场景：大多数任务

spark-1-pro Pro

标准价格

适用场景：复杂研究、关键数据收集

何时使用 Pro：

▸跨多个网站比较数据

▸从需要认证的网站提取数据

▸智能体需要探索多条路径

▸准确性至关重要的关键数据

crawl.sh

curl -X POST 'https://api.firecrawl.dev/v2/crawl' \
  -H 'Authorization: Bearer fc-YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
    "url": "https://docs.firecrawl.dev",
    "limit": 100,
    "scrapeOptions": {
      "formats": ["markdown"]
    }
  }'

↳ 返回任务 ID

{
  "success": true,
  "id": "123-456-789",
  "url": "https://api.firecrawl.dev/v2/crawl/123-456-789"
}

🕷️CRAWL

爬取 (Crawl)

爬取整个网站并获取所有页面的内容。SDK 会自动处理轮询，提供更好的开发体验。

🗺️MAP

映射 (Map)

即时发现网站上的所有 URL。配合搜索可查找特定 URL。

curl -X POST 'https://api.firecrawl.dev/v2/map' \
  -H 'Authorization: Bearer fc-YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{"url": "https://firecrawl.dev"}'

📦BATCH

批量抓取 (Batch Scrape)

一次性抓取多个 URL。适合大规模数据采集场景。

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-...")

job = app.batch_scrape([
    "https://firecrawl.dev",
    "https://docs.firecrawl.dev",
    "https://firecrawl.dev/pricing"
], formats=["markdown"])

SDK

多语言 SDK

我们的 SDK 提供了一种便捷的方式来使用 Firecrawl 的所有功能，并自动处理异步操作的轮询。

Python SDK

最受欢迎的 SDK，适合数据科学、AI 应用和快速原型开发。

✓类型提示完整，与 Pydantic 深度集成

✓自动处理异步轮询

✓支持结构化数据 schema 验证

安装

pip install firecrawl-py

example.py

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

# 抓取
doc = app.scrape("https://firecrawl.dev", formats=["markdown"])
print(doc.markdown)

# 智能体
result = app.agent(prompt="Find the founders of Stripe")

# 爬取（自动等待完成）
docs = app.crawl("https://docs.firecrawl.dev", limit=50)

# 搜索
results = app.search("best AI data tools 2024", limit=10)

Node.js SDK

为 JavaScript / TypeScript 打造，原生支持现代 ES 模块和异步/await。

安装

npm install firecrawl

example.js

import { Firecrawl } from 'firecrawl';

const app = new Firecrawl({ apiKey: 'fc-YOUR_API_KEY' });

// 抓取
const doc = await app.scrape('https://firecrawl.dev', { formats: ['markdown'] });
console.log(doc.markdown);

// 智能体
const result = await app.agent({ prompt: 'Find the founders of Stripe' });

// 爬取（自动等待完成）
const docs = await app.crawl('https://docs.firecrawl.dev', { limit: 50 });
docs.data.forEach(doc => {
  console.log(doc.metadata.sourceURL, doc.markdown.substring(0, 100));
});

// 搜索
const results = await app.search('best AI data tools 2024', { limit: 10 });

Java SDK

为企业级 Java 应用打造，支持 Gradle / Maven。

build.gradle

dependencies {
  implementation 'com.github.firecrawl:firecrawl-java-sdk:2.0'
}

Example.java

import dev.firecrawl.client.FirecrawlClient;
import dev.firecrawl.model.*;

FirecrawlClient client = new FirecrawlClient(
    System.getenv("FIRECRAWL_API_KEY"), null, null
);

// 抓取
ScrapeParams scrapeParams = new ScrapeParams();
scrapeParams.setFormats(new String[]{"markdown"});
FirecrawlDocument doc = client.scrapeURL("https://firecrawl.dev", scrapeParams);
System.out.println(doc.getMarkdown());

// 智能体
AgentParams agentParams = new AgentParams("Find the founders of Stripe");
AgentResponse start = client.createAgent(agentParams);

// 搜索
SearchParams searchParams = new SearchParams("best AI data tools 2024");
searchParams.setLimit(10);
SearchResponse results = client.search(searchParams);

Elixir SDK

为 Elixir / Phoenix 应用量身打造，拥抱函数式编程范式。

mix.exs

def deps do
  [
    {:firecrawl, "~> 1.0"}
  ]
end

example.ex

# 抓取 URL
{:ok, response} = Firecrawl.scrape_and_extract_from_url(
  url: "https://firecrawl.dev",
  formats: ["markdown"]
)

# 爬取网站
{:ok, response} = Firecrawl.crawl_urls(
  url: "https://docs.firecrawl.dev",
  limit: 50
)

# 搜索网页
{:ok, response} = Firecrawl.search_and_scrape(
  query: "best AI data tools 2024",
  limit: 10
)

# 映射 URL
{:ok, response} = Firecrawl.map_urls(url: "https://example.com")

Rust SDK

高性能、内存安全，基于 tokio 异步运行时。

Cargo.toml

[dependencies]
firecrawl = "2"
tokio = { version = "1", features = ["macros", "rt-multi-thread"] }

main.rs

use firecrawl::{Client, ScrapeOptions, Format, CrawlOptions};

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    let client = Client::new("fc-YOUR_API_KEY")?;

    // 抓取 URL
    let document = client.scrape("https://firecrawl.dev", None).await?;
    println!("{:?}", document.markdown);

    // 爬取网站
    let options = CrawlOptions { limit: Some(50), ..Default::default() };
    let result = client.crawl("https://docs.firecrawl.dev", options).await?;
    println!("Crawled {} pages", result.data.len());

    // 搜索网页
    let response = client.search("best web scraping tools 2024", None).await?;
    println!("{:?}", response.data);

    Ok(())
}

Go SDK (社区)

由社区贡献，简洁易用的 Go 接口。

安装

go get github.com/firecrawl/firecrawl/apps/go-sdk

example.go

package main

import (
    "fmt"
    firecrawl "github.com/firecrawl/firecrawl/apps/go-sdk"
)

func main() {
    client := firecrawl.NewClient("fc-YOUR_API_KEY")

    // 抓取
    doc, _ := client.Scrape("https://firecrawl.dev", nil)
    fmt.Println(doc.Markdown)
}