Настройка парсера по расписанию (cron) для 1С-Битрикс

Настройка парсера по расписанию (cron) для 1С-Битрикс

Разовый парсинг — это разовое решение. Реальная польза начинается, когда парсер запускается автоматически по расписанию: обновляет цены, остатки, описания без участия человека. В Битриксе это можно организовать через встроенные агенты, через системный cron или через очереди — у каждого подхода свои ограничения.

Агенты Битрикса vs системный cron

Агенты (b_agent) — встроенный механизм. Работают при веб-запросах к сайту: агент выполняется, когда кто-то открывает страницу и срабатывает проверка CAgent::CheckAgents(). Проблема: при малом трафике агенты не запускаются вовремя. Надёжность агентов повышается включением режима «Точный запуск агентов» через cron — тогда агенты запускаются системным заданием, а не браузером посетителя.

Системный cron — надёжнее для парсеров. Прямой вызов PHP-CLI без зависимости от трафика:

*/30 * * * * /usr/bin/php -f /var/www/site/local/scripts/parser_run.php >> /var/log/parser.log 2>&1

Для тяжёлых парсеров (10 000+ позиций) системный cron предпочтителен — нет ограничений PHP-FPM по времени выполнения.

Защита от параллельного запуска

Парсер работает 25 минут, cron запускает следующий через 30 — два экземпляра не пересекутся. Но если вдруг парсер завис и работает 35 минут? Защита:

$lockFile = '/tmp/parser_' . md5($parserName) . '.lock';
if (file_exists($lockFile) && (time() - filemtime($lockFile)) < 3600) {
    exit('Already running');
}
touch($lockFile);
// ... работа парсера ...
unlink($lockFile);

Для распределённых систем (несколько серверов) — блокировка через Redis: SET lock:parser NX EX 3600.

Настройка агентов Битрикса для парсинга

Если всё же используем агенты — регистрируем через CAgent::AddAgent():

CAgent::AddAgent(
    'MyParserAgent::Run();',  // функция-агент
    'mymodule',               // модуль
    'N',                      // не точный
    3600,                     // интервал в секундах
    '',                       // дата первого запуска
    'Y',                      // активный
    date('d.m.Y H:i:s', time() + 3600)  // следующий запуск
);

Агент должен быть зарегистрирован в include.php модуля или в init.php.

Логирование и мониторинг

Парсер без логов — чёрный ящик. Минимальная схема логирования:

file_put_contents($logFile, date('[Y-m-d H:i:s] ') . $message . PHP_EOL, FILE_APPEND);

Для продакшена — структурированные логи с уровнями (info/warning/error) и ротацией через logrotate. Алерт при ошибке: если в логе за последний запуск есть строки с ERROR — отправляем email через \Bitrix\Main\Mail\Event.

Таймлайн работ

Итого: 6–12 часов — задача несложная, но критичная для надёжности всей системы парсинга.