Разработка фотобанка / стокового сервиса

Разработка фотобанка / стокового сервиса

Мы разрабатываем стоковые фотосервисы — от MVP до полноценных платформ с поиском по визуальному содержанию и гибким лицензированием. Технически это пересечение трёх доменов: управление большими бинарными объектами, поиск по метаданным и визуальному содержимому, лицензионные транзакции. Каждый из них нетривиален по отдельности, вместе — требуют продуманной архитектуры с самого начала. Если вы задумываетесь о запуске фотобанка, важно сразу заложить правильные решения по хранению, поиску и монетизации — переделывать потом дорого. Наши инженеры помогут спроектировать систему, которая выдержит миллионы файлов и тысячи транзакций в сутки.

Как устроена загрузка и хранение файлов? — разработка фотобанка стокового

Минимальные требования к загружаемым файлам на типовом стоке: JPEG/TIFF/PNG, минимум 4 Мп, до 200 МБ. Видео — MP4/MOV до 4K, до 2 ГБ. Это означает, что загрузка напрямую на сервер приложений исключена. Вместо этого используется схема multipart upload через S3:

Клиент → presigned URL (S3) → загрузка напрямую в S3 S3 Event → SQS → Worker: генерация превью, валидация, метаданные Worker → БД: запись asset с status=processing → status=ready 

Хранение: AWS S3 или любой S3-совместимый (MinIO для self-hosted). Структура бакетов:

• originals/ — исходники, приватный доступ, только по подписанным URL
• previews/ — водяной знак, публичный CDN
• thumbnails/ — несколько размеров (400px, 800px, 1600px), генерируются при загрузке

Для генерации превью используем libvips, который в 4–8 раз быстрее ImageMagick. Водяной знак накладывается при генерации превью, не при раздаче — иначе менять брендинг без перегенерации. Это позволяет сэкономить до 60% на инфраструктуре за счёт эффективного CDN.

Почему лицензирование — ключевой элемент?

Лицензии — ядро бизнес-логики стока. Минимальный набор типов:

Выдача файла после оплаты — одноразовый подписанный URL с TTL 15–60 минут. Не прямая ссылка на S3. При каждой выдаче — запись в лог с user_id, asset_id, timestamp, IP.

Как работает поиск и метаданные?

Метаданные медиафайлов живут в двух местах: EXIF/IPTC внутри файла и в базе данных. При загрузке парсим IPTC-теги через ExifTool, переносим в БД, даём автору дополнить вручную. Структура метаданных:

assets (id, uuid, author_id, title, description, status, license_type, uploaded_at) asset_tags (asset_id, tag_id) asset_categories (asset_id, category_id) asset_metadata (asset_id, key, value) -- EXIF, IPTC, кастомные поля 

Для полнотекстового поиска используем Elasticsearch с русским анализатором (рекомендацию см. в Elasticsearch documentation). Индексируем: title, description, tags, категории, имя автора, IPTC-ключевые слова. Буст по полям: теги > title > description.

Визуальный поиск (поиск по похожим изображениям): генерируем perceptual hash (pHash) при загрузке. Поиск похожих — hamming distance по хешам. Для продвинутой реализации — CLIP-эмбеддинги через OpenAI API или локальная модель, хранение в векторной БД (pgvector или Qdrant). Поиск по цвету извлекает доминантные цвета через k-means кластеризацию (Pillow / ColorThief), хранит HEX-палитру, индексирует в Elasticsearch как keyword-поле с boost.

Система подписок и кредитов

Две модели монетизации часто существуют параллельно. Подписка: X загрузок в месяц, определённые разрешения, rollover или сброс. Реализуется через Stripe Subscriptions + webhooks. При загрузке проверяем subscription.downloads_remaining, декрементируем атомарно (Redis DECR). Кредиты: пользователь покупает пачку кредитов, тратит при загрузке. Разные файлы стоят разное количество кредитов. Транзакции в отдельной таблице с балансом — никогда не хранить баланс как мутируемое поле без истории.

Загрузчик для авторов

Авторский кабинет — отдельная часть системы. Ключевые требования: batch upload 50–200 файлов с прогресс-барами, bulk metadata editing, модерация pipeline (загружено → на проверке → одобрено/отклонено), статистика автора. Для batch upload используем <input multiple> + chunked upload через tus protocol (resumable uploads). Клиентская библиотека — tus-js-client. На сервере — tusd или кастомная реализация на Laravel.