Комплексная проверка сайта: Core Web Vitals, мета-теги, отчёт

Утекает бюджет на контекстную рекламу, а органика не растёт? После масштабирования каталога или смены CMS часто обнаруживаются технические ошибки: битые ссылки, дубли страниц, неоптимизированные Core Web Vitals. Наш SEO-аудит выявляет и приоритизирует такие проблемы, экономя до 30% бюджета на исправлениях.

Мы провели аудит для более 200 проектов — от корпоративных порталов до маркетплейсов с миллионами товаров. Типичный кейс: у интернет-магазина с 50 000 позиций нашли 1 200 дублированных title — после их исправления CTR вырос на 15%. Аудит окупается за счёт увеличения органического трафика уже через 3–6 месяцев.

Какие технические проблемы выявляет SEO-аудит?

Краулинг сайта — первый шаг. Мы прогоняем сайт краулером (Screaming Frog, Sitebulb или собственный на Python) и собираем все URL, проверяя статус-коды, дубли, ошибочные редиректы и orphan pages.

# Быстрая проверка через sitemap
import requests
from xml.etree import ElementTree

resp = requests.get('https://mysite.ru/sitemap.xml')
tree = ElementTree.fromstring(resp.content)
ns = {'sm': 'http://www.sitemaps.org/schemas/sitemap/0.9'}
urls = [loc.text for loc in tree.findall('.//sm:loc', ns)]
print(f'URLs в sitemap: {len(urls)}')

# Проверка статус-кодов
errors = []
for url in urls[:200]:  # первые 200 для демо
    r = requests.head(url, allow_redirects=True, timeout=5)
    if r.status_code not in (200, 301, 302):
        errors.append({'url': url, 'status': r.status_code})
print(f'Ошибочных URL: {len(errors)}')

Проверяемые технические параметры:

Как настроить robots.txt для избежания ошибок индексации

1. Проверьте, что sitemap указан в robots.txt: Sitemap: https://mysite.ru/sitemap.xml.
2. Убедитесь, что служебные разделы (admin, cgi-bin) закрыты от индексации.
3. Для AJAX-сайтов добавьте директиву Disallow: /ajax/, если это не нужно для поиска.
4. Используйте правило Allow: / после Disallow для частичного разрешения.

# Проверить доступность robots.txt
curl -s https://mysite.ru/robots.txt
# Проверить индексацию в Google
# site:mysite.ru — сколько страниц в индексе
# site:mysite.ru/admin — нет ли закрытых разделов в индексе

Sitemap должен содержать только 200-е страницы, без noindex и с корректными <lastmod>. Размер — до 50 000 URL или 50 MB на файл.

Проверка мета-тегов и заголовков

On-page анализ включает проверку title и meta description:

# Массовая проверка title/description
from bs4 import BeautifulSoup
issues = []
for url in urls:
    soup = BeautifulSoup(requests.get(url).text, 'html.parser')
    title = soup.find('title')
    desc = soup.find('meta', {'name': 'description'})
    t_len = len(title.text) if title else 0
    d_len = len(desc['content']) if desc and desc.get('content') else 0
    if t_len == 0:
        issues.append((url, 'no_title'))
    elif t_len > 70:
        issues.append((url, f'title_too_long:{t_len}'))
    if d_len == 0:
        issues.append((url, 'no_description'))
    elif d_len > 160:
        issues.append((url, f'desc_too_long:{d_len}'))

Нормы: title 50–70 символов, description 120–160. Шаблонные описания — проблема дублей. Заголовки H1–H6: один H1 с ключевым запросом, H2–H3 структурируют контент без пропусков порядка. Контент: проверяем thin content (<300 слов), дубли из фидов поставщика, страницы пагинации с rel="next"/"prev" или canonical на первую.

Внутренняя перелинковка и структурированные данные

Хорошая внутренняя ссылочная структура распределяет вес страниц и помогает краулерам. Проблемы:

• Orphan pages — страницы без входящих внутренних ссылок (их краулер не найдёт)
• Глубина клика > 3 для важных страниц
• Broken internal links — ссылки на удалённые/редиректные страницы

-- Для CMS на SQL: найти страницы без входящих ссылок
SELECT p.url
FROM pages p
LEFT JOIN internal_links il ON il.target_url = p.url
WHERE il.id IS NULL
  AND p.status = 'published'

Структурированные данные: проверяем валидность schema.org с помощью Google Rich Results Test. Поддерживаем типы: Product, Article, BreadcrumbList, FAQPage, Review, LocalBusiness, Event.

Что входит в аудит?

По итогам вы получаете:

• Полный дамп данных краулинга (CSV/Excel)
• Приоритизированный список проблем с трудозатратами и ожидаемым эффектом
• Документацию по техническим доработкам для разработчиков (с корневой причиной и способом устранения)
• Консультацию инженера по приоритетным исправлениям
• Гарантию качества: при обнаружении новых проблем после исправлений повторный мини-аудит бесплатно

Как Core Web Vitals влияют на ранжирование

Google использует CrUX-данные (field data) для ранжирования. Согласно рекомендациям Google Search Central, LCP должен быть менее 2.5 секунд. Если у конкурента LCP < 2.5s, а у вас > 4s — это серьёзный фактор при прочих равных. Проверка через Search Console показывает процент URL в Good/Needs improvement/Poor. На аудите мы даём конкретные причины: неоптимизированные изображения, тяжеловесный JavaScript, медленный серверный ответ.