Firecrawl MCP Server:具备网页抓取、爬取、搜索、内容提取等多种功能

AI快讯 2025-05-08 13:47更新网络

Firecrawl MCP Server是什么?

Firecrawl MCP Server是一个与 Firecrawl 集成的MCP服务器,具备网页抓取、爬取、搜索、内容提取等功能,比如说从购物网站提取商品价格,以及做深度研究等。支持云环境和自托管实例,可通过环境变量配置重试机制、信用监控等参数,提供多种ai工具及详细日志与错误处理,且方便在不同开发环境中安装使用。

Firecrawl MCP Server:具备网页抓取、爬取、搜索、内容提取等多种功能.webp

firecrawl-mcp-server功能特性

多样化的网页处理:支持网页抓取、爬取、搜索、内容提取、深度研究以及批量抓取。

JS 渲染支持:可以处理需要 JavaScript 渲染的网页。

URL 发现与爬取:能够自动发现和爬取网页中的 URL。

网页搜索与内容提取:支持在网页上进行搜索并提取相关内容。

自动重试机制:采用指数退避算法进行自动重试,确保数据获取的稳定性。

高效的批量处理:内置速率限制,提高批量处理的效率。

信用使用监控:对云 API 的信用使用情况进行监控。

全面的日志系统:提供详细的日志记录,方便调试和监控。

多环境支持:支持云环境和自托管的 Firecrawl 实例。

多视图支持:支持移动和桌面视口。

智能内容过滤:可以通过标签包含或排除进行智能内容过滤。

SSE 支持:支持服务器发送事件(Server-Sent Events)。

firecrawl-mcp-server安装与运行

使用 npx 运行

envFIRECRAWL_API_KEY=fc-YOUR_API_KEYnpx-yfirecrawl-mcp

手动安装

npminstall-gfirecrawl-mcp

在 Cursor 中运行

根据 Cursor 的不同版本,按照相应的步骤进行配置,需要在配置中替换 your-api-key 为你的 Firecrawl API 密钥。

在 Windsurf 中运行

将特定的配置添加到 ./codeium/windsurf/model_config.json 文件中,并替换 YOUR_API_KEY 为你的 Firecrawl API 密钥。

项目链接

https://github.com/mendableai/firecrawl-mcp-server

相关文章