Краулер для сбора структуры сайтов конкурентов: автоматический анализ

Вы тратите дни на ручной сбор 200 URL конкурентов, выписывая заголовки и мета-описания. Через месяц ребрендинг — и всё сначала. Краулер решает это за минуты и воспроизводится автоматически. Мы — команда с 7-летним опытом в веб-скрапинге: реализовали 15+ таких решений для разных ниш. Одна из частых проблем — неполный сбор из-за JavaScript-рендеринга. Даже статичный сайт может содержать динамические элементы, которые не видны обычному HTTP-запросу. Краулер с headless-браузером выявляет реальную структуру, включая ленивую загрузку. В результате вы получаете полную карту сайта конкурента: все URL, заголовки, мета-теги, Schema.org. Такой подход экономит до 20 часов работы в неделю и даёт преимущество в SEO-анализе.

Какие проблемы решает краулер для структуры сайта?

Частая боль — неполный сбор структуры из-за JavaScript-рендеринга, вложенности URL или канонических дублей. Например, интернет-магазин на Vue.js может выдавать одинаковый контент на разных URL, что искажает карту сайта. Краулер с headless-браузером выявляет реальную структуру, включая динамические подгрузки.

Ещё одна проблема — анализ Schema.org. Без structured data невозможно оценить, как конкурент использует богатые сниппеты. Краулер собирает JSON-LD и Microdata, позволяя копировать успешные паттерны.

Какую архитектуру используем для краулинга?

Два рабочих варианта: Python + Scrapy/Playwright для сложных SPA с ленивой загрузкой, Node.js + Puppeteer/Cheerio для большинства стандартных сайтов. В задачах, где нет динамического JS-рендеринга, хватает HTTP-клиента с HTML-парсером — быстрее в 5–10 раз, проще в деплое.

Минимальная Python-реализация на основе requests + lxml:

import requests from lxml import html from urllib.parse import urljoin, urlparse from collections import deque import time from urllib.robotparser import RobotFileParser class SiteStructureCrawler: def __init__(self, base_url: str, max_depth: int = 4, delay: float = 1.0): self.base_url = base_url self.domain = urlparse(base_url).netloc self.max_depth = max_depth self.delay = delay self.visited: dict[str, dict] = {} self.queue: deque = deque([(base_url, 0)]) # Проверка robots.txt rp = RobotFileParser() rp.set_url(f'{base_url}/robots.txt') rp.read() self.rp = rp def crawl(self): session = requests.Session() session.headers['User-Agent'] = ( 'Mozilla/5.0 (compatible; SiteAnalyzer/1.0; +https://example.com/bot)' ) while self.queue: url, depth = self.queue.popleft() if url in self.visited or depth > self.max_depth: continue if not self.rp.can_fetch('*', url): continue # пропускаем запрещённые пути try: resp = session.get(url, timeout=10, allow_redirects=True) resp.raise_for_status() except requests.RequestException as e: self.visited[url] = {'error': str(e), 'depth': depth} continue doc = html.fromstring(resp.content) doc.make_links_absolute(url) title = doc.findtext('.//title') or '' h1 = [h.text_content().strip() for h in doc.cssselect('h1')] meta_desc_el = doc.cssselect('meta[name="description"]') meta_desc = meta_desc_el[0].get('content', '') if meta_desc_el else '' canonical_el = doc.cssselect('link[rel="canonical"]') canonical = canonical_el[0].get('href', '') if canonical_el else '' noindex = bool(doc.cssselect('meta[name="robots"][content*="noindex"]')) # Сбор Schema.org и заголовков schemas = [] for script in doc.cssselect('script[type="application/ld+json"]'): try: import json data = json.loads(script.text_content()) schemas.append(data) except json.JSONDecodeError: pass headings = [] for tag in ['h1', 'h2', 'h3', 'h4']: for el in doc.cssselect(tag): headings.append({'tag': tag, 'text': el.text_content().strip()}) links = [] for a in doc.cssselect('a[href]'): href = a.get('href', '').strip() parsed = urlparse(href) if parsed.netloc == self.domain and href not in self.visited: links.append(href) if depth + 1 <= self.max_depth: self.queue.append((href, depth + 1)) self.visited[url] = { 'depth': depth, 'status': resp.status_code, 'title': title.strip(), 'h1': h1, 'meta_description': meta_desc, 'canonical': canonical, 'noindex': noindex, 'internal_links': links, 'content_type': resp.headers.get('Content-Type', ''), 'schema': schemas, 'headings': headings, } time.sleep(self.delay) return self.visited 

Работа с JavaScript-рендерингом

Если сайт конкурента — SPA (React/Vue/Angular) или использует lazy-load для основного контента, обычный HTTP-краулер вернёт пустые страницы. Здесь нужен headless-браузер:

from playwright.sync_api import sync_playwright def crawl_spa_page(url: str) -> dict: with sync_playwright() as p: browser = p.chromium.launch(headless=True) page = browser.new_page() page.goto(url, wait_until='networkidle', timeout=30000) title = page.title() h1_elements = page.query_selector_all('h1') h1_texts = [el.inner_text() for el in h1_elements] # Сбор всех ссылок после рендеринга links = page.eval_on_selector_all( 'a[href]', 'els => els.map(e => e.href)' ) browser.close() return {'title': title, 'h1': h1_texts, 'links': links} 

Playwright добавляет ~2–5 секунд на страницу против 0.3–0.8 секунды для обычного HTTP. При краулинге 500+ страниц это ощутимо — используется только там, где без него не обойтись.

Как автоматизировать регулярный краулинг?

Разовый сбор данных быстро устаревает. Конкуренты меняют структуру, добавляют разделы, переформатируют заголовки. Полезно настроить автоматический запуск раз в неделю/месяц и сравнивать результаты:

def diff_structures(old: dict, new: dict) -> dict: added = {url: data for url, data in new.items() if url not in old} removed = {url: data for url, data in old.items() if url not in new} changed = {} for url in old: if url in new: if old[url].get('title') != new[url].get('title'): changed[url] = { 'old_title': old[url].get('title'), 'new_title': new[url].get('title'), } return {'added': added, 'removed': removed, 'changed': changed} 

Почему важен сбор Schema.org?

Structured data — прямой индикатор того, насколько конкурент вкладывается в SEO. Наличие Article, Product, BreadcrumbList, FAQPage даёт преимущество в выдаче. Краулер фиксирует все типы разметки, позволяя вам перенять успешные схемы.

Настройка и запуск краулера

Чтобы начать сбор, выполните несколько шагов:

1. Клонируйте репозиторий с готовым краулером.
2. Установите зависимости: pip install requests lxml (или playwright для SPA).
3. Укажите стартовый URL и максимальную глубину обхода.
4. Запустите скрипт: python crawler.py.
5. После завершения получите отчёт — файл в формате JSON или CSV.

Результаты и автоматизация

Собранная структура экспортируется в несколько форматов в зависимости от задачи:

import json import csv # JSON — для программной обработки with open('competitor_structure.json', 'w', encoding='utf-8') as f: json.dump(crawler.visited, f, ensure_ascii=False, indent=2) # CSV — для анализа в Excel/Google Sheets fieldnames = ['url', 'depth', 'status', 'title', 'meta_description', 'h1', 'noindex', 'canonical'] with open('competitor_structure.csv', 'w', newline='', encoding='utf-8') as f: writer = csv.DictWriter(f, fieldnames=fieldnames, extrasaction='ignore') writer.writeheader() for url, data in crawler.visited.items(): row = {'url': url, **data} if isinstance(row.get('h1'), list): row['h1'] = ' | '.join(row['h1']) writer.writerow(row) 

Что входит в работу?

• Разработка краулера с учётом специфики вашей ниши: выбор стека (Python или Node.js), настройка depth, задержек, robots.txt.
• Интеграция с headless-браузером для SPA-сайтов.
• Сбор всех URL, заголовков H1-H6, meta-тегов, canonical, noindex, Schema.org.
• Экспорт в JSON, CSV или SQLite по вашему выбору.
• Автоматизация запуска через cron/Airflow с сохранением истории изменений.
• Документация по эксплуатации и консультация по анализу результатов.

Сроки и гарантии

Базовый краулер (HTTP, без SPA) с экспортом в CSV/JSON — от 1 до 2 рабочих дней. С поддержкой JavaScript-рендеринга, сбором Schema.org, дифф-сравнением и SQLite-хранилищем — от 3 до 4 дней. Интеграция с планировщиком и уведомлениями при изменениях — ещё от 1 до 2 дней.

Мы гарантируем, что краулер уважает robots.txt (Robots.txt) — обязательная проверка перед каждым запросом. Задержка между запросами (минимум 1 секунда) предотвращает блокировку по IP. Для регулярного краулинга используем ротацию User-Agent и прокси.

Типичные ошибки при разработке краулера:

• Игнорирование robots.txt — риск блокировки IP.
• Слишком быстрый краулинг (delay < 1 сек) — бан от сервера.
• Пропуск проверки canonical — дубли раздувают структуру.
• Отсутствие обработки циклических ссылок — бесконечный обход.
• Неучёт пагинации (page/2, page/3) — неполный сбор.

Свяжитесь с нами для консультации. Закажите разработку краулера под вашу нишу. Получите бесплатный анализ ваших конкурентов и рекомендации по краулингу.