Краулер для сбора структуры сайтов конкурентов: автоматический анализ

Вы тратите дни на ручной сбор 200 URL конкурентов, выписывая заголовки и мета-описания. Через месяц ребрендинг — и всё сначала. Краулер решает это за минуты и воспроизводится автоматически. Мы — команда с 7-летним опытом в веб-скрапинге: реализовали 15+ таких решений для разных ниш. Одна из частых проблем — неполный сбор из-за JavaScript-рендеринга. Даже статичный сайт может содержать динамические элементы, которые не видны обычному HTTP-запросу. Краулер с headless-браузером выявляет реальную структуру, включая ленивую загрузку. В результате вы получаете полную карту сайта конкурента: все URL, заголовки, мета-теги, Schema.org. Такой подход экономит до 20 часов работы в неделю и даёт преимущество в SEO-анализе.

Какие проблемы решает краулер для структуры сайта?

Частая боль — неполный сбор структуры из-за JavaScript-рендеринга, вложенности URL или канонических дублей. Например, интернет-магазин на Vue.js может выдавать одинаковый контент на разных URL, что искажает карту сайта. Краулер с headless-браузером выявляет реальную структуру, включая динамические подгрузки.

Ещё одна проблема — анализ Schema.org. Без structured data невозможно оценить, как конкурент использует богатые сниппеты. Краулер собирает JSON-LD и Microdata, позволяя копировать успешные паттерны.

Какую архитектуру используем для краулинга?

Два рабочих варианта: Python + Scrapy/Playwright для сложных SPA с ленивой загрузкой, Node.js + Puppeteer/Cheerio для большинства стандартных сайтов. В задачах, где нет динамического JS-рендеринга, хватает HTTP-клиента с HTML-парсером — быстрее в 5–10 раз, проще в деплое.

Минимальная Python-реализация на основе requests + lxml:

import requests
from lxml import html
from urllib.parse import urljoin, urlparse
from collections import deque
import time
from urllib.robotparser import RobotFileParser

class SiteStructureCrawler:
    def __init__(self, base_url: str, max_depth: int = 4, delay: float = 1.0):
        self.base_url = base_url
        self.domain = urlparse(base_url).netloc
        self.max_depth = max_depth
        self.delay = delay
        self.visited: dict[str, dict] = {}
        self.queue: deque = deque([(base_url, 0)])
        # Проверка robots.txt
        rp = RobotFileParser()
        rp.set_url(f'{base_url}/robots.txt')
        rp.read()
        self.rp = rp

    def crawl(self):
        session = requests.Session()
        session.headers['User-Agent'] = (
            'Mozilla/5.0 (compatible; SiteAnalyzer/1.0; +https://example.com/bot)'
        )
        while self.queue:
            url, depth = self.queue.popleft()
            if url in self.visited or depth > self.max_depth:
                continue
            if not self.rp.can_fetch('*', url):
                continue  # пропускаем запрещённые пути
            try:
                resp = session.get(url, timeout=10, allow_redirects=True)
                resp.raise_for_status()
            except requests.RequestException as e:
                self.visited[url] = {'error': str(e), 'depth': depth}
                continue
            doc = html.fromstring(resp.content)
            doc.make_links_absolute(url)
            title = doc.findtext('.//title') or ''
            h1 = [h.text_content().strip() for h in doc.cssselect('h1')]
            meta_desc_el = doc.cssselect('meta[name="description"]')
            meta_desc = meta_desc_el[0].get('content', '') if meta_desc_el else ''
            canonical_el = doc.cssselect('link[rel="canonical"]')
            canonical = canonical_el[0].get('href', '') if canonical_el else ''
            noindex = bool(doc.cssselect('meta[name="robots"][content*="noindex"]'))
            # Сбор Schema.org и заголовков
            schemas = []
            for script in doc.cssselect('script[type="application/ld+json"]'):
                try:
                    import json
                    data = json.loads(script.text_content())
                    schemas.append(data)
                except json.JSONDecodeError:
                    pass
            headings = []
            for tag in ['h1', 'h2', 'h3', 'h4']:
                for el in doc.cssselect(tag):
                    headings.append({'tag': tag, 'text': el.text_content().strip()})
            links = []
            for a in doc.cssselect('a[href]'):
                href = a.get('href', '').strip()
                parsed = urlparse(href)
                if parsed.netloc == self.domain and href not in self.visited:
                    links.append(href)
                    if depth + 1 <= self.max_depth:
                        self.queue.append((href, depth + 1))
            self.visited[url] = {
                'depth': depth,
                'status': resp.status_code,
                'title': title.strip(),
                'h1': h1,
                'meta_description': meta_desc,
                'canonical': canonical,
                'noindex': noindex,
                'internal_links': links,
                'content_type': resp.headers.get('Content-Type', ''),
                'schema': schemas,
                'headings': headings,
            }
            time.sleep(self.delay)
        return self.visited

Работа с JavaScript-рендерингом

Если сайт конкурента — SPA (React/Vue/Angular) или использует lazy-load для основного контента, обычный HTTP-краулер вернёт пустые страницы. Здесь нужен headless-браузер:

from playwright.sync_api import sync_playwright

def crawl_spa_page(url: str) -> dict:
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        page.goto(url, wait_until='networkidle', timeout=30000)
        title = page.title()
        h1_elements = page.query_selector_all('h1')
        h1_texts = [el.inner_text() for el in h1_elements]
        # Сбор всех ссылок после рендеринга
        links = page.eval_on_selector_all(
            'a[href]',
            'els => els.map(e => e.href)'
        )
        browser.close()
        return {'title': title, 'h1': h1_texts, 'links': links}

Playwright добавляет ~2–5 секунд на страницу против 0.3–0.8 секунды для обычного HTTP. При краулинге 500+ страниц это ощутимо — используется только там, где без него не обойтись.

Как автоматизировать регулярный краулинг?

Разовый сбор данных быстро устаревает. Конкуренты меняют структуру, добавляют разделы, переформатируют заголовки. Полезно настроить автоматический запуск раз в неделю/месяц и сравнивать результаты:

def diff_structures(old: dict, new: dict) -> dict:
    added = {url: data for url, data in new.items() if url not in old}
    removed = {url: data for url, data in old.items() if url not in new}
    changed = {}
    for url in old:
        if url in new:
            if old[url].get('title') != new[url].get('title'):
                changed[url] = {
                    'old_title': old[url].get('title'),
                    'new_title': new[url].get('title'),
                }
    return {'added': added, 'removed': removed, 'changed': changed}

Почему важен сбор Schema.org?

Structured data — прямой индикатор того, насколько конкурент вкладывается в SEO. Наличие Article, Product, BreadcrumbList, FAQPage даёт преимущество в выдаче. Краулер фиксирует все типы разметки, позволяя вам перенять успешные схемы.

Настройка и запуск краулера

Чтобы начать сбор, выполните несколько шагов:

1. Клонируйте репозиторий с готовым краулером.
2. Установите зависимости: pip install requests lxml (или playwright для SPA).
3. Укажите стартовый URL и максимальную глубину обхода.
4. Запустите скрипт: python crawler.py.
5. После завершения получите отчёт — файл в формате JSON или CSV.

Результаты и автоматизация

Собранная структура экспортируется в несколько форматов в зависимости от задачи:

import json
import csv

# JSON — для программной обработки
with open('competitor_structure.json', 'w', encoding='utf-8') as f:
    json.dump(crawler.visited, f, ensure_ascii=False, indent=2)

# CSV — для анализа в Excel/Google Sheets
fieldnames = ['url', 'depth', 'status', 'title', 'meta_description', 'h1', 'noindex', 'canonical']
with open('competitor_structure.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.DictWriter(f, fieldnames=fieldnames, extrasaction='ignore')
    writer.writeheader()
    for url, data in crawler.visited.items():
        row = {'url': url, **data}
        if isinstance(row.get('h1'), list):
            row['h1'] = ' | '.join(row['h1'])
        writer.writerow(row)

Что входит в работу?

• Разработка краулера с учётом специфики вашей ниши: выбор стека (Python или Node.js), настройка depth, задержек, robots.txt.
• Интеграция с headless-браузером для SPA-сайтов.
• Сбор всех URL, заголовков H1-H6, meta-тегов, canonical, noindex, Schema.org.
• Экспорт в JSON, CSV или SQLite по вашему выбору.
• Автоматизация запуска через cron/Airflow с сохранением истории изменений.
• Документация по эксплуатации и консультация по анализу результатов.

Сроки и гарантии

Базовый краулер (HTTP, без SPA) с экспортом в CSV/JSON — от 1 до 2 рабочих дней. С поддержкой JavaScript-рендеринга, сбором Schema.org, дифф-сравнением и SQLite-хранилищем — от 3 до 4 дней. Интеграция с планировщиком и уведомлениями при изменениях — ещё от 1 до 2 дней.

Мы гарантируем, что краулер уважает robots.txt (Robots.txt) — обязательная проверка перед каждым запросом. Задержка между запросами (минимум 1 секунда) предотвращает блокировку по IP. Для регулярного краулинга используем ротацию User-Agent и прокси.

Типичные ошибки при разработке краулера:

• Игнорирование robots.txt — риск блокировки IP.
• Слишком быстрый краулинг (delay < 1 сек) — бан от сервера.
• Пропуск проверки canonical — дубли раздувают структуру.
• Отсутствие обработки циклических ссылок — бесконечный обход.
• Неучёт пагинации (page/2, page/3) — неполный сбор.

Свяжитесь с нами для консультации. Закажите разработку краулера под вашу нишу. Получите анализ ваших конкурентов и рекомендации по краулингу.