Таймауты запросов к API: какое значение выбрать

Чаще всего таймаут возникает потому, что клиент или промежуточный прокси перестаёт ждать, пока модель ещё генерирует ответ. Закрытие соединения не отменяет запрос, который уже дошёл до апстрим-провайдера, поэтому он оплачивается по завершении генерации. Лучше сразу задать достаточно длинный таймаут, чем короткий таймаут с повторами.

Повтор сразу после таймаута может обойтись вдвое дороже и всё равно ничего не вернуть.

Оборванный вами запрос обычно завершается и оплачивается.
Встроенные повторы SDK отправляют тот же запрос заново после таймаута.
Перед повтором проверьте статус и стоимость прежнего запроса в журнале вызовов.

Нагрузка	Рекомендуемый таймаут	Примечания
Обычный чат	60–120 с	Обычно отвечает за секунды
Рассуждающие модели, длинный вывод	Используйте потоковую передачу; без неё 300–600 с	Чем выше усилие рассуждения, тем дольше
Генерация и редактирование изображений	360 с	Эндпоинты изображений синхронные, поэтому при обрыве результат теряется
Вывод 4K, много референсных изображений	600 с	В часы пик медленнее
Генерация видео	Опрашивайте задачу	Создание и проверка статуса возвращаются быстро; см. руководство по видеомодели

Потоковая передача для длинных ответов

Запрос без потоковой передачи возвращается только после генерации всего ответа, так что таймаут чтения соревнуется с полным временем генерации. При потоковой передаче (stream=True) вывод приходит по мере генерации:

первые данные приходят быстро, затем события идут непрерывно;
таймаут чтения должен покрывать лишь паузу между событиями, обычно хватает 90–120 секунд;
общее время остаётся прежним, но соединение больше не обрывается в ожидании полного ответа.

Если вы остаётесь на запросах без потоковой передачи, задайте таймаут 300–600 секунд и учитывайте, что длинные генерации будут падать чаще.

Отключение автоматических повторов для долгих запросов

Официальный OpenAI Python SDK по умолчанию делает два повтора после таймаута и некоторых других ошибок. Для запросов к изображениям и рассуждающим моделям установите max_retries равным 0 и пусть решение о повторе принимает ваш код:

Python
Node.js
cURL

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["LAOZHANG_API_KEY"],
    base_url="https://api.laozhang.ai/v1",
    max_retries=0,  # без автоматических повторов: таймаут не оплачивается дважды
)

response = client.chat.completions.create(
    model="gpt-6-sol",
    messages=[{"role": "user", "content": "Проанализируй временную сложность этого кода"}],
    timeout=600,  # даём рассуждающей модели достаточно времени
)
print(response.choices[0].message.content)

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.LAOZHANG_API_KEY,
  baseURL: "https://api.laozhang.ai/v1",
  timeout: 600 * 1000, // в миллисекундах
  maxRetries: 0,
});

const response = await client.chat.completions.create({
  model: "gpt-6-sol",
  messages: [{ role: "user", content: "Напиши технический анализ на 3000 слов" }],
});
console.log(response.choices[0].message.content);

# --max-time ограничивает весь запрос, в секундах
curl https://api.laozhang.ai/v1/images/generations \
  -H "Authorization: Bearer $LAOZHANG_API_KEY" \
  -H "Content-Type: application/json" \
  --max-time 360 \
  -d '{"model": "gpt-image-2.5-flare-vip", "prompt": "A calm mountain lake at sunrise"}'

Таймаут не исчез после увеличения

Проверьте по порядку:

Убедитесь, что новый таймаут действует

Некоторые фреймворки оборачивают HTTP-клиент собственным таймаутом. Выведите фактические настройки и убедитесь, что вы изменили именно используемый.

Проверьте все звенья цепочки

Любое звено с таймаутом короче генерации закроет соединение первым. Увеличьте каждое:

обратный прокси, который вы запускаете, например Nginx, у которого proxy_read_timeout по умолчанию 60 секунд;
таймаут простоя балансировщика нагрузки в вашем облаке;
максимальное время выполнения вашей serverless-функции;
таймаут задачи у вашего воркера очереди.

Отличите таймауты от лимитов

Оборванное соединение или таймаут чтения означают, что вы ждали недостаточно долго. 429 — это лимит скорости или ёмкости, он не зависит от длительности. Повторяйте 429 несколько раз с задержкой и пишите в поддержку, если ошибка не исчезает.

Посмотрите реальную длительность в журнале вызовов

Откройте журнал вызовов, найдите длительность и стоимость запроса и задайте таймаут выше этого значения с запасом.

Частые вопросы

Оплачивается ли запрос, если у клиента сработал таймаут?

Да, если апстрим-провайдер закончил генерацию. Разрыв происходит на вашей стороне, а шлюз и провайдер продолжают работу. Ответы апстрима не со статусом 200, например 429 или 503, не оплачиваются. Фактическую стоимость показывает журнал вызовов, а возвраты и корректировки баланса регулируют Условия использования.

Можно ли получить изображение по ID после обрыва соединения?

Нет. Эндпоинты изображений синхронные, а LaoZhang API по умолчанию не хранит сгенерированные результаты, поэтому потерянный результат вернуть нельзя. Если нужна асинхронность, поставьте очередь задач в своём бэкенде, как описано в материале Возвращают ли API изображений ID задачи?

Есть ли побочные эффекты у очень длинного таймаута?

На оплату он не влияет: она зависит только от расхода или числа вызовов, а не от времени ожидания. Долгие соединения занимают воркер или слот в пуле, поэтому при большой нагрузке выносите запросы к изображениям и рассуждающим моделям в отдельную очередь заданий.

Связанные материалы

Возвращают ли API изображений ID задачи?
Руководство по подключению: обработка ошибок
Как читать журнал вызовов
API генерации текста: потоковая передача в каждом протоколе

Руководство пользователя

Таймауты запросов к API: какое значение выбрать

Рекомендуемые таймауты

Потоковая передача для длинных ответов

Отключение автоматических повторов для долгих запросов

Таймаут не исчез после увеличения

Частые вопросы

Оплачивается ли запрос, если у клиента сработал таймаут?

Можно ли получить изображение по ID после обрыва соединения?

Есть ли побочные эффекты у очень длинного таймаута?

Связанные материалы

​Рекомендуемые таймауты

​Потоковая передача для длинных ответов

​Отключение автоматических повторов для долгих запросов

​Таймаут не исчез после увеличения

​Частые вопросы

​Оплачивается ли запрос, если у клиента сработал таймаут?

​Можно ли получить изображение по ID после обрыва соединения?

​Есть ли побочные эффекты у очень длинного таймаута?

​Связанные материалы

Рекомендуемые таймауты

Потоковая передача для длинных ответов

Отключение автоматических повторов для долгих запросов

Таймаут не исчез после увеличения

Частые вопросы

Оплачивается ли запрос, если у клиента сработал таймаут?

Можно ли получить изображение по ID после обрыва соединения?

Есть ли побочные эффекты у очень длинного таймаута?

Связанные материалы