Граббинг данных с агрегаторов DEX (1inch, Jupiter)

Граббинг данных с агрегаторов DEX (1inch, Jupiter)

1inch и Jupiter не просто дают лучшую цену — они публикуют маршрутизационную логику через API. Это ценный источник данных: какие пулы используются для пары, как разбивается объём между протоколами, какой price impact при разных размерах ордера. Для аналитических систем, MEV-ботов, арбитражных стратегий и исследовательских инструментов — это сырьё.

API 1inch: что реально доступно

Swap API vs Fusion API

Swap API (/swap/v6.0/{chain}/swap) — классическая агрегация. Запрос возвращает:

• tx объект с полными данными транзакции
• protocols — список протоколов в маршруте с долями
• toAmount — минимальная выходная сумма

Для скрапинга ценовых данных без исполнения свапа — используем /quote endpoint: нет slippage параметра, нет fromAddress, возвращает только котировку. Это не создаёт нагрузку на RPC и не требует разрешений.

Fusion API (/fusion/v1.0/{chain}/quote/receive) — другая модель: RFQ (request for quote) с участием market maker-ов. Маршрутизация непрозрачна, протоколы не раскрываются полностью. Для скрапинга маршрутов — менее полезен.

Rate limits и обходы

1inch Public API: 1 request/second, 500k requests/month бесплатно. Для интенсивного скрапинга — 1inch Dev Portal с Pro планом или использование собственного 1inch router через direct contract calls.

Прямой вызов 1inch Aggregation Router через eth_call — получаем quote без HTTP запроса и без rate limits. Используем calldata из SDK для симуляции:

const data = routerContract.interface.encodeFunctionData("swap", [
  executor, desc, data
]);
const result = await provider.call({ to: ROUTER_ADDRESS, data });

Но это требует понимания внутреннего формата 1inch — он меняется между версиями роутера.

Парсинг маршрута

Ответ /quote содержит protocols — массив массивов, представляющий split route:

"protocols": [
  [
    [{"name": "UNISWAP_V3", "part": 60, "fromTokenAddress": "...", "toTokenAddress": "..."}],
    [{"name": "CURVE", "part": 40, ...}]
  ]
]

Первый уровень — parallel paths (split по объёму). Второй уровень — sequential hops внутри пути. Для построения графа ликвидности: нормализуем имена протоколов, агрегируем по парам токенов, отслеживаем динамику part во времени.

Jupiter API (Solana)

V6 Quote API

GET /quote?inputMint=...&outputMint=...&amount=...&slippageBps=50

Ответ включает routePlan — детальный маршрут через AMM-ы Solana:

"routePlan": [
  {
    "swapInfo": {
      "ammKey": "...",
      "label": "Orca (Whirlpool)",
      "inputMint": "...",
      "outputMint": "...",
      "inAmount": "1000000",
      "outAmount": "998432",
      "feeAmount": "3000",
      "feeMint": "..."
    },
    "percent": 100
  }
]

Для скрапинга: ammKey — публичный ключ пула на Solana. Можно прямо запросить состояние пула через getAccountInfo. label — человекочитаемое имя AMM.

Price API Jupiter

Jupiter предоставляет /price?ids=... endpoint — bulk price query для до 100 токенов за запрос. Возвращает цену в USDC с указанием ликвидности источника. Это не quotation (нет slippage), а справочная цена. Обновляется каждые 30 секунд.

Для построения price history: опрашиваем /price с нужными парами каждые 30 секунд, сохраняем в TimescaleDB или InfluxDB. За день — ~2880 точек на пару.

Rate limits Jupiter: публичный API без ключа — 600 requests/minute. Jupiter API Pro — выше. Для production систем рекомендуем собственный Jupiter self-hosted или партнёрский ключ.

Архитектура скрапера

Структура данных

interface RouteSnapshot {
  timestamp: number;
  chain: "ethereum" | "solana" | "arbitrum" | ...;
  inputToken: string;
  outputToken: string;
  inputAmount: bigint;
  outputAmount: bigint;
  priceImpact: number;  // в %
  protocols: ProtocolHop[];
  source: "1inch" | "jupiter";
}

interface ProtocolHop {
  name: string;
  poolAddress: string;
  percentOfRoute: number;
  inputAmount: bigint;
  outputAmount: bigint;
}

Очередь запросов и retry

Скрапер с несколькими парами токенов → параллельные запросы → быстрое достижение rate limit. Правильная архитектура: очередь с Bull/BullMQ + Redis, configurable concurrency per source.

Retry с exponential backoff для 429 Too Many Requests: delay = Math.min(base * 2^attempt, maxDelay). Для 1inch — base = 1000ms, maxDelay = 30000ms.

Мониторинг health скрапера: prometheus метрики scraper_requests_total{status="success|error"}, scraper_latency_ms. Alert при error rate > 10% за 5 минут.

Хранение и запросы

TimescaleDB (PostgreSQL расширение) для временных рядов — оптимизирован для WHERE timestamp BETWEEN ... AND ... запросов с агрегацией. Для скрапинга маршрутов с высокой частотой — партиционирование по дням.

ClickHouse как альтернатива для очень высоких объёмов (>10M строк/день): columnar storage даёт 10-100x быстрее аналитические запросы по большим временным диапазонам.

Процесс работы

Аналитика (0.5 дня). Список пар и размеров ордеров для мониторинга, требования к частоте обновления, цели использования данных (аналитика / торговый сигнал / исследование).

Разработка (1-3 дня). Скрапер сервис (Node.js/TypeScript) + хранилище + базовый дашборд или API для потребления данных.

Ориентиры по срокам

Скрапер для одного источника (1inch или Jupiter) с хранением в PostgreSQL — 1-2 дня. Мультисорсный скрапер с нормализацией данных, ClickHouse и аналитическим API — 3-5 дней.

Стоимость рассчитывается индивидуально.