Интеграция Hugging Face Inference API для AI-моделей

Интеграция Hugging Face Inference API для AI-моделей

Hugging Face Inference API предоставляет доступ к 100,000+ моделей через REST API. Доступны два варианта: Serverless Inference API (бесплатный, с ограничениями) и Inference Endpoints (управляемый деплой на выделенном GPU с гарантированным SLA).

Serverless Inference API

import requests

API_URL = "https://api-inference.huggingface.co/models/mistralai/Mistral-7B-Instruct-v0.2"
headers = {"Authorization": "Bearer hf_..."}

def query(payload):
    response = requests.post(API_URL, headers=headers, json=payload)
    return response.json()

# Text generation
output = query({
    "inputs": "<s>[INST] Summarize this document: ... [/INST]",
    "parameters": {
        "max_new_tokens": 512,
        "temperature": 0.3,
        "return_full_text": False
    }
})

Inference Endpoints (выделенный деплой)

from huggingface_hub import InferenceClient

# Подключение к выделенному Inference Endpoint
client = InferenceClient(
    model="https://xyz.us-east-1.aws.endpoints.huggingface.cloud",
    token="hf_..."
)

# Text generation
response = client.text_generation(
    "Explain RLHF in simple terms:",
    max_new_tokens=256,
    temperature=0.7,
    stream=True  # Streaming поддерживается
)

for token in response:
    print(token, end="", flush=True)

Специализированные задачи

# Classification
classifier = InferenceClient(model="cardiffnlp/twitter-roberta-base-sentiment-latest")
result = classifier.text_classification("This product is amazing!")
# [{'label': 'positive', 'score': 0.97}]

# Embeddings
embedder = InferenceClient(model="sentence-transformers/all-MiniLM-L6-v2")
embedding = embedder.feature_extraction("Text to embed")
# numpy array (384,)

# Image classification
vision = InferenceClient(model="google/vit-base-patch16-224")
result = vision.image_classification("path/to/image.jpg")

Выбор между Serverless и Endpoints

Serverless подходит для разработки и низкой нагрузки. Inference Endpoints — для production с требованиями к latency (cold start отсутствует) и throughput. Endpoints поддерживают auto-scaling от 0 до N реплик. При постоянной нагрузке >100 запросов/час Endpoints экономически эффективнее Serverless.