REST API для ботов-парсеров: управление, мониторинг, webhooks

POST /api/v1/scrapers — создать новый скрапер GET /api/v1/scrapers — список скраперов GET /api/v1/scrapers/{id} — конфигурация скрапера PATCH /api/v1/scrapers/{id} — обновить конфигурацию DELETE /api/v1/scrapers/{id} — удалить скрапер POST /api/v1/scrapers/{id}/run — запустить немедленно POST /api/v1/scrapers/{id}/stop — остановить запущенный GET /api/v1/scrapers/{id}/status — текущий статус GET /api/v1/scrapers/{id}/runs — история запусков GET /api/v1/scrapers/{id}/runs/{runId} — детали запуска GET /api/v1/scrapers/{id}/results — результаты парсинга 

Пример реализации на FastAPI с фоновыми задачами и валидацией:

from fastapi import FastAPI, HTTPException, BackgroundTasks from pydantic import BaseModel from typing import Optional app = FastAPI() class ScraperConfig(BaseModel): name: str url: str schedule: Optional[str] = None # cron expression proxy_pool: Optional[str] = None rate_limit: int = 5 # req/sec headers: dict = {} @app.post('/api/v1/scrapers', status_code=201) async def create_scraper(config: ScraperConfig): scraper = await ScraperRepository.create(config.dict()) if config.schedule: await Scheduler.register(scraper.id, config.schedule) return scraper @app.post('/api/v1/scrapers/{scraper_id}/run') async def run_scraper(scraper_id: int, background_tasks: BackgroundTasks): scraper = await ScraperRepository.get_or_404(scraper_id) if scraper.status == 'running': raise HTTPException(409, 'Scraper is already running') run = await ScraperRun.create(scraper_id=scraper_id, status='pending') background_tasks.add_task(execute_scraper, scraper, run.id) return {'run_id': run.id, 'status': 'started'} @app.get('/api/v1/scrapers/{scraper_id}/status') async def get_status(scraper_id: int): scraper = await ScraperRepository.get_or_404(scraper_id) last_run = await ScraperRun.get_latest(scraper_id) return { 'id': scraper_id, 'status': last_run.status if last_run else 'idle', 'last_run': last_run.started_at if last_run else None, 'items_count': last_run.items_collected if last_run else 0, } 

Аутентификация и безопасность

API-ключи с уровнями доступа: read, write, admin. Ключи хранятся в виде хешей (bcrypt), передаются в заголовке Authorization: Bearer {key}. Также поддерживаем OAuth2 для корпоративных клиентов — это упрощает аудит и повышает безопасность.

Webhooks для оповещений

Подписка на события: завершение запуска, ошибки, новые данные. Пример регистрации webhook:

@app.post('/api/v1/webhooks') async def create_webhook(url: str, events: list[str]): return await WebhookRepository.create(url=url, events=events) 

Что входит в работу

• Проектирование архитектуры API под ваши бизнес-процессы.
• Реализация на FastAPI или другом стеке (Django, Node.js).
• Автоматическая документация OpenAPI (Swagger).
• Базовая аутентификация (API-ключи) или OAuth2.
• Webhooks для ключевых событий.
• Развёртывание на вашем сервере или в облаке (Docker Compose, Kubernetes).
• Гарантия 30 дней бесплатной поддержки после запуска.
• Опыт инженеров: более 5 лет в разработке подобных систем, сертифицированные специалисты по FastAPI и Kubernetes, реализовано 30+ проектов.

Сроки и стоимость

Ориентировочные сроки: 5–8 рабочих дней для базового функционала (CRUD, запуск/остановка, статус). Стоимость рассчитывается индивидуально, зависит от сложности: количество эндпоинтов, интеграции, требования к производительности. Свяжитесь с нами для оценки вашего проекта — мы подберём оптимальное решение.

Что выгоднее: REST API или ручное управление?

REST API обеспечивает гораздо более высокую надёжность и скорость разработки. Автоматизация снижает затраты на поддержку до 40% по сравнению с ручным управлением. Типичный проект окупается за 2–3 месяца.

Закажите разработку REST API и автоматизируйте управление парсерами уже сегодня. Получите консультацию по архитектуре вашего API — мы поможем сократить время интеграции в 2–3 раза.