Перейти к содержанию

🔥 Firecrawl

🤖💬 Для чатботов И агентов

Работает и в браузере (облачная версия / альтернатива), и через агента (установка). Ниже оба варианта.

Собирает текст с любых сайтов и приводит в формат для ИИ. Даёшь ссылку — получаешь чистый текст с разметкой (формат с простыми звёздочками для жирного и заголовками), готовый для ИИ.

Что делает

Обычный сбор данных с сайтов (когда программа копирует текст и картинки со страниц автоматом) — это боль: мусор из рекламы, скрытый текст, защита от ботов. Firecrawl решает это: кидаешь ссылку — получаешь чистый текст без мусора. Идеально для ИИ.

Три режима: - Scrape — одна страница - Crawl — обход всего сайта - Search — поиск + автосбор

Работает как облачный сервис (готовое решение с их серверов) или можно установить у себя (не в облаке) через программу-контейнер Docker, которая запускает приложения в изоляции. 110 тысяч звёзд. Mendable AI давно в теме — делают системы где ИИ отвечает по документам компании.

Кому подходит

  • ✅ ИИ-агентам нужны данные с сайтов
  • ✅ Надо собрать документацию чтобы ИИ по ней отвечал
  • ✅ Мониторинг конкурентов, цен, контента
  • ❌ НЕ подходит для 1-2 разовых задач — можно просто скопировать
  • ❌ Если сайт защищён капчей — Firecrawl её не решит

Как попробовать без чёрного окна с командами

У Firecrawl есть веб-интерфейс — можно собирать тексты без единой команды:

  1. Заходи на firecrawl.dev → регистрация по email
  2. В дашборде есть «Playground» — вставляешь ссылку, жмёшь «Scrape», получаешь готовый текст
  3. Бесплатный тир — 500 страниц/мес, хватает пощупать
  4. Результат копируешь и вставляешь в ChatGPT/Claude: «проанализируй этот текст»

Для связки с ИИ в браузере: - В Claude Projects подключается через Custom Connector (бета) - В ChatGPT — через кастомные GPTs или Actions

Для программистов (Python / подключение к Claude Code / установка у себя)

Как облачный сервис:

pip install firecrawl-py

from firecrawl import FirecrawlApp

app = FirecrawlApp(api_key="твой-ключ")
result = app.scrape_url("https://example.com")
print(result["markdown"])

Подключить к Claude Code как MCP (способ дать ИИ руки — подключить его к внешним сервисам):

claude mcp add firecrawl -- npx -y @mendable/firecrawl-mcp

Установить у себя (для своих серверов):

git clone https://github.com/mendableai/firecrawl
cd firecrawl
docker-compose up

Нюансы

  • Облачный сервис — платный после бесплатного тира (500 страниц/мес)
  • Установка у себя бесплатна, но нужен сервер
  • Не все сайты ок со сбором данных — уважай robots.txt и правила сайтов

Ссылки

Подходит для: технарям · автоматизации · системам "ИИ читает документы"