ScrapingBee или собственный парсер на CaptchaAI: что выбрать

Короткий ответ: ScrapingBee выгоден, пока парсинг для вас — вспомогательная задача с непостоянным объёмом. Как только объём становится предсказуемым, а проверка CAPTCHA — регулярной частью маршрута, дешевле собрать свой парсер и отдать CaptchaAI только решение проверок. Это разные уровни абстракции: один сервис продаёт готовый HTML, второй — токен для вашей формы.

Где проходит граница между двумя подходами

ScrapingBee принимает URL и возвращает готовую страницу: прокси, рендеринг JavaScript и часть проверок он берёт на себя. CaptchaAI возвращает только токен по параметрам проверки — всё остальное остаётся в вашем коде.

Разница в тарификации важнее, чем кажется. ScrapingBee списывает кредиты за запрос, и расходы растут линейно вместе с объёмом. CaptchaAI берёт фиксированную сумму за одновременные потоки: BASIC ($15/мес, 5 потоков), STANDARD ($30/мес, 15 потоков), ADVANCE ($90/мес, 50 потоков). Решения внутри потока отдельно не тарифицируются, поэтому прогон на 40 000 страниц стоит столько же, сколько на 4000.

Считаем расходы на реальном объёме

Сценарий: студия в Алматы или Минске собирает товарные карточки — 10 000 страниц в месяц, проверка примерно на 30 % из них.

Ориентировочные тарифы ScrapingBee

Рендеринг JavaScript расходует 5 кредитов, режим повышенной совместимости — 10–25.

Собственный стек

Итог: ScrapingBee выходит в $99–249 в зависимости от доли страниц с рендерингом, собственный стек — примерно $100–130, из которых на CAPTCHA приходятся фиксированные $30. На этом объёме разница невелика, но при трёхкратном росте счёт CaptchaAI не меняется, а кредиты умножаются. Для команд, которые получают оплату в волатильной местной валюте, предсказуемая сумма в USD — отдельный аргумент.

Что даёт контроль и сколько он стоит

Собственный парсер открывает настройки, которых у готового API нет: флаги браузера, длительность сессии, параметры задачи под каждый сайт, приём результата через callback вместо опроса res.php. Плата за это — сопровождение: драйверы, состояние прокси, разбор тайм-аутов. Без ответственного человека экономия в $80 в месяц обернётся простоем.

Сравнение по типам проверок

Здесь важна точность — сравнительные таблицы часто приукрашивают обе стороны.

Вывод: если маршрут упирается в hCaptcha или FunCaptcha, его не закроет ни один вариант — CaptchaAI эти типы не поддерживает. Зато GeeTest v3 и BLS CAPTCHA — случай, где готовый API парсинга обычно бессилен. Именно поэтому список поддерживаемых типов стоит сверять до того, как выбран подход, а не после первых прогонов.

Как это выглядит в коде

У ScrapingBee это один запрос, у своего стека — браузер плюс вызов решателя.

ScrapingBee

import requests

resp = requests.get(
    "https://app.scrapingbee.com/api/v1/",
    params={
        "api_key": "SCRAPINGBEE_KEY",
        "url": "https://example.com/data",
        "render_js": "true",
    },
)
html = resp.text
# Parse HTML here

CaptchaAI + ваш код

import requests
from selenium import webdriver
from selenium.webdriver.common.by import By

# You control the browser
driver = webdriver.Chrome()
driver.get("https://example.com/data")

# Detect CAPTCHA
sitekey = driver.find_element(By.CSS_SELECTOR, "[data-sitekey]").get_attribute("data-sitekey")

# Solve with CaptchaAI
resp = requests.post("https://ocr.captchaai.com/in.php", data={
    "key": "YOUR_API_KEY",
    "method": "userrecaptcha",
    "googlekey": sitekey,
    "pageurl": driver.current_url,
    "json": 1,
})
# ... poll for result, inject token ...

Порядок работ простой: сначала убедитесь, что первый токен возвращается на одном сайте, и только потом обвязывайте это очередью, повторами и мониторингом.

Гибридная схема: не выбирать, а комбинировать

Многие команды не выбирают одно: простые страницы уходят в ScrapingBee, страницы с проверками — в собственный маршрут с CaptchaAI.

def smart_scrape(url, scrapingbee_key, captchaai_key):
    """Use ScrapingBee for simple pages, CaptchaAI for complex ones."""

    # Try ScrapingBee first (simpler)
    resp = requests.get(
        "https://app.scrapingbee.com/api/v1/",
        params={"api_key": scrapingbee_key, "url": url},
    )

    if "captcha" not in resp.text.lower():
        return resp.text  # No CAPTCHA, use ScrapingBee result

    # CAPTCHA detected, use CaptchaAI for full control
    return solve_with_captchaai(url, captchaai_key)

Это удобный переходный этап: нагрузка переносится на свой стек постепенно. И про юридическую сторону — собирайте только те данные, которые вы вправе обрабатывать: для персональных данных пользователей из РФ ориентиром служит 152-ФЗ, для трансграничных проектов — требования уровня GDPR.

Часто задаваемые вопросы

При каком объёме имеет смысл уходить со ScrapingBee?

Когда счёт за кредиты стабильно превышает сумму «тариф CaptchaAI + прокси + сервер», а объём перестаёт скакать от месяца к месяцу — обычно это несколько десятков тысяч страниц.

Сколько потоков закладывать для парсера?

По числу одновременно работающих воркеров, а не страниц. Пятнадцать потоков тарифа STANDARD ($30/мес) обслуживают пятнадцать параллельных проверок.

Влияет ли выбор тарифа на список поддерживаемых типов?

Нет. Тариф определяет только количество потоков. Набор типов одинаков на всех тарифах: hCaptcha и FunCaptcha в него не входят, а GeeTest v4 заявлен как «в разработке».

Что делать, если сайт отдаёт CAPTCHA чаще, чем ожидалось?

Проверьте прокси и частоту запросов: всплеск проверок обычно значит, что вы упёрлись в ограничение частоты, а не что защита изменилась. Снизьте параллелизм и добавьте экспоненциальную задержку между повторами.

Связанные материалы

• Как собрать свой фреймворк для парсинга
• Своя инфраструктура или готовый сервис

Подключите CaptchaAI к своему парсеру — начните с быстрого теста.