Сколько параллельных запросов можно отправлять и ошибка 429

LaoZhang API сейчас не ограничивает параллельные запросы и не замедляет их на аккаунт или токен для текстовых, графических и видеомоделей; об изменениях сообщат в объявлениях. При большой нагрузке всё равно возможна ошибка 429, поэтому регулируйте скорость запросов в своём коде.

Параметр	Значение
Источник `429`	Лимит скорости или ёмкости апстрим-модели
Оплата	Ответы апстрима не со статусом 200, включая `429`, не оплачиваются
Что делать	Ограничьте параллельность локальной очередью и делайте паузу при `429`

Как обработать 429

Прочитайте тело ошибки

Тело 429 говорит, это лимит скорости, нехватка ёмкости или проблема с квотой. Если в нём есть insufficient_user_quota, баланса не хватает на предварительно резервируемую сумму; см. Сбой при положительном балансе. Повторы не помогут.

Делайте паузу и повторяйте

Увеличивайте паузу перед каждым повтором, например 1, 2, 4, затем 8 секунд, добавляйте небольшой случайный разброс и ограничьте число попыток. Не отправляйте тот же запрос в ту же секунду, когда пришёл 429.

Отправляйте меньше запросов одновременно

Ограничьте число запросов в полёте локальной очередью или семафором. Если 429 не исчезает, вдвое уменьшите параллельность и затем повышайте её постепенно.

Ограничение параллельности семафором

Этот пример на Python держит в полёте не более 10 запросов и повторяет 429 с экспоненциальной задержкой:

import asyncio
import os
import random
from openai import AsyncOpenAI, RateLimitError

client = AsyncOpenAI(
    api_key=os.environ["LAOZHANG_API_KEY"],
    base_url="https://api.laozhang.ai/v1",
    max_retries=0,
)
limit = asyncio.Semaphore(10)  # запросов в полёте


async def ask(prompt, attempts=5):
    async with limit:
        for attempt in range(attempts):
            try:
                response = await client.chat.completions.create(
                    model="gpt-5.4-mini",
                    messages=[{"role": "user", "content": prompt}],
                )
                return response.choices[0].message.content
            except RateLimitError:
                if attempt == attempts - 1:
                    raise
                await asyncio.sleep(2 ** attempt + random.random())


async def main():
    prompts = [f"Опиши число {i} одним предложением" for i in range(50)]
    results = await asyncio.gather(*(ask(p) for p in prompts))
    print(results[:3])


asyncio.run(main())

Установите SDK командой pip install openai и сначала задайте LAOZHANG_API_KEY. Запросы к изображениям и рассуждающим моделям идут дольше, поэтому для них берите меньшую параллельность и задавайте таймауты так, как описано в материале Таймауты запросов.

Перед большим пакетом

Сначала запустите небольшой пакет и проверьте длительность, долю успешных запросов и стоимость в журнале вызовов.
Видеомодели работают как асинхронные задачи. Опрашивайте их с интервалом, который советует руководство по видеомодели, а не так быстро, как возможно.
Если планируете большую волну запросов, заранее напишите на hi@laozhang.ai: укажите модели, ожидаемый объём и сроки, чтобы можно было проверить ёмкость апстрима.

Частые вопросы

Повышает ли параллельность число токенов?

Нет. Платформа не ограничивает параллельность на токен, поэтому разнесение трафика по токенам никакой потолок не поднимает. Отдельные токены для сервисов и окружений нужны для управления и безопасности; см. Управление API-ключами.

Если лимита нет, почему запросы замедляются?

В часы пик апстрим-модели ставят запросы в очередь, поэтому каждый запрос идёт дольше, а при высокой параллельности ждёт больше запросов одновременно. Если запросы медленные, сначала убедитесь, что таймаут достаточно длинный, а затем подумайте о снижении параллельности.

Связанные материалы

Таймауты запросов
Сбой при положительном балансе
Проверка доступности моделей и прав доступа
Руководство по подключению: обработка ошибок

​Как обработать 429

​Ограничение параллельности семафором

​Перед большим пакетом

​Частые вопросы

​Повышает ли параллельность число токенов?

​Если лимита нет, почему запросы замедляются?

​Связанные материалы