Как использовать DeepSeek через OpenAI-совместимый API

By TokuseTokuse
ИИAPIDeepSeekРуководство

DeepSeek уже предоставляет эндпоинт в стиле OpenAI. Практический вопрос в том, где хранить базовый URL, как обращаться с именами моделей и что проверить, прежде чем переводить продакшен-трафик.

Попробуйте Tokuse: создайте бесплатный аккаунт и отправьте первый запрос через единый OpenAI-совместимый эндпоинт.

В этом руководстве Tokuse используется как пример шлюза: в его публичном каталоге моделей есть deepseek-flash и deepseek-v4-pro, а OpenAI-совместимый API доступен по адресу:

https://tokuse.com/v1

Набор моделей, квоты и цены, отображаемые для вашего аккаунта, могут меняться. Проверьте актуальный каталог перед развёртыванием.

Что значит совместимость с OpenAI

Совместимость означает, что существующие SDK OpenAI обычно могут отправлять запросы, если изменить базовый URL и имя модели. Ваше приложение может сохранить привычную структуру клиента:

SDK -> OpenAI-compatible base URL -> model alias -> provider

Шлюз принимает запрос, определяет модель, подставляет учётные данные провайдера и возвращает нормализованный ответ. Так изменения провайдера остаются вне кода продукта.

Совместимость не означает, что каждый параметр, специфичный для провайдера, работает одинаково. Проверьте потоковую передачу, вызовы инструментов, вывод JSON, коды ошибок и учёт токенов на том самом SDK и модели, которые планируете использовать.

Настройка Python

Установите SDK OpenAI:

pip install openai

Задайте ключ Tokuse на сервере:

export TOKUSE_API_KEY="YOUR_KEY"

Затем используйте обычный интерфейс chat completions:

import os

from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TOKUSE_API_KEY"],
    base_url="https://tokuse.com/v1",
)

response = client.chat.completions.create(
    model="deepseek-flash",
    messages=[
        {
            "role": "system",
            "content": "Return a compact JSON object. Do not add commentary.",
        },
        {
            "role": "user",
            "content": "Extract the company name and plan from: Acme Pro, billed monthly.",
        },
    ],
    response_format={"type": "json_object"},
    max_tokens=200,
)

print(response.choices[0].message.content)

Используйте базовый URL без /chat/completions. SDK сам добавляет путь эндпоинта.

Настройка Node.js

npm install openai
import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.TOKUSE_API_KEY,
  baseURL: "https://tokuse.com/v1",
});

const response = await client.chat.completions.create({
  model: "deepseek-flash",
  messages: [
    {
      role: "user",
      content: "Summarize this support ticket in one sentence.",
    },
  ],
  max_tokens: 120,
});

console.log(response.choices[0].message.content);

Храните ключ в серверных переменных окружения. Не раскрывайте его в браузерных бандлах, мобильных приложениях или логах сборки.

Выбирайте модель по задаче

Сначала используйте deepseek-flash для рутинного извлечения данных, классификации, резюме и шагов рабочего процесса с большим объёмом. Тестируйте deepseek-v4-pro на задачах со сложными рассуждениями или длинным горизонтом, где более дешёвый маршрут не проходит вашу оценку.

Решение о маршрутизации должно основываться на успешном выполнении задачи, а не на престиже модели. Сравнивайте качество, длину вывода, задержку, повторы и стоимость успешной задачи.

Цены кэш-хитов DeepSeek делают стабильные промпты особенно важными. Официальный тариф вне пиковых часов — $0.003/M при кэш-хите против $0.15/M при кэш-миссе; в Tokuse текущие базовые тарифы deepseek-flash составляют $0.274/M за вход и $1.096/M за выход, а кэш-хиты — около $0.006/M. Перед выбором бюджета изучите полную модель цен и кэширования DeepSeek.

Проверьте эти сценарии сбоев

401 или неверный токен

Убедитесь, что ключ принадлежит аккаунту шлюза и не содержит случайных пробелов. Смените ключ, если он когда-либо попадал в коммит или лог.

404 при запросе chat completions

Проверьте и базовый URL, и путь SDK. https://tokuse.com/v1 — это базовый URL. Не добавляйте путь SDK /chat/completions, если ваш HTTP-клиент не ожидает полный эндпоинт.

Неподдерживаемая модель

Запросите актуальный каталог моделей или панель управления. Алиасы моделей могут различаться в зависимости от аккаунта и доступности. Модель, работавшая во время пилота, может быть позже отключена.

429 или ошибки квоты

Добавьте ограниченный экспоненциальный backoff с джиттером. Не повторяйте бесконечно. Различайте лимиты в минуту и ошибки баланса или квоты аккаунта.

Обрезанный вывод

Проверьте finish_reason, лимит выходных токенов и запрошенную схему. Больший лимит может увеличить стоимость, не улучшив результат. Измеряйте оба показателя.

Сбои потоковой передачи

Фиксируйте задержку до первого токена и точку сбоя. После того как токены дошли до пользователя, прозрачный повтор может продублировать текст. Предпочитайте видимую ошибку или контролируемое продолжение.

Чек-лист для продакшена

  • Используйте отдельные ключи для разработки и продакшена.
  • Никогда не передавайте ключи провайдера или шлюза в клиентский код.
  • Логируйте ID запросов, модель, статус, задержку, входные токены, выходные токены и число повторов.
  • Скрывайте промпты, ответы и заголовки авторизации в логах по умолчанию.
  • Фиксируйте алиасы моделей и тестируйте изменения перед выкаткой.
  • Добавьте таймауты, бюджеты повторов и аварийный выключатель.
  • Сравнивайте стоимость успешной задачи, а не стоимость запроса.
  • Начните с небольшой доли трафика и измеряйте качество на фиксированном наборе оценки.

Начните с одного эндпоинта

Tokuse предлагает единый OpenAI-совместимый эндпоинт, каталог моделей, управление использованием и админ-панель для команд, которые оценивают несколько ИИ-моделей. Начните с текущего каталога и тестового ключа, затем проведите одну низкорисковую нагрузку через шлюз, прежде чем расширяться.

Создайте аккаунт Tokuse и изучите текущие модели

Связанные руководства по стоимости и миграции

Источники