Ошибка 1015 Cloudflare (You are being rate limited): причины и решение

Ошибка 1015 означает, что владелец сайта попросил Cloudflare ограничить число запросов от одного посетителя за определённый промежуток времени, а ваш трафик этот предел превысил. Пока не истечёт выбранная владельцем пауза, Cloudflare отвечает страницей с заголовком You are being rate limited, обычно с HTTP-статусом 429. Сами цифры Cloudflare не назначает, поэтому решение одно из трёх: отправлять меньше запросов, подождать или обратиться к тем, кто управляет сайтом.

Многие статьи об этой ошибке скатываются в хитрости, как проскользнуть мимо лимита. Здесь их не будет. Разберём, как правила ограничения частоты в Cloudflare считают запросы, что законно может сделать посетитель, как разработчикам и командам сбора данных дозировать автоматический трафик и как владельцам сайтов настроить правила, которые по ошибке бьют по живым людям.

Что сообщает страница 1015

На странице блокировки три полезные детали: код ошибки 1015, домен, который вы открывали, и Ray ID внизу. Ray ID — уникальный идентификатор вашего запроса в журналах Cloudflare, по нему владелец сайта увидит, какое правило сработало. Скопируйте его, прежде чем закрывать вкладку.

Не путайте 1015 с соседними кодами. Ошибка 1020 значит, что правило файрвола просто запретило доступ, 1010 указывает на заблокированную сигнатуру браузера, а код 5xx с оформлением Cloudflare говорит о проблеме на исходном сервере — например, о ситуации из статьи про ошибку 503.

Как Cloudflare считает ваши запросы

Правило ограничения частоты владелец собирает из нескольких частей, и понимание этих частей объясняет почти любой случай 1015.

Отсюда два следствия. Во-первых, если счётчик привязан к IP-адресу, лимит делят все, кто сидит на вашем адресе: весь офис, общежитие или тысячи мобильных абонентов за одним шлюзом оператора. Во-вторых, пауза может длиться от секунд до суток, а попытки обновлять страницу во время блокировки продолжают пополнять счётчик.

Что делать обычному посетителю

1. Перестаньте обновлять страницу. Закройте вкладку и вернитесь через несколько минут. Cloudflare прямо предупреждает, что повторные попытки могут продлить блокировку.
2. Закройте дубли вкладок и приостановите «тяжёлые» расширения. Предзагрузчики ссылок, автообновление и отслеживатели цен способны в фоне отправлять десятки запросов.
3. Проверьте, не общий ли у вас адрес. В загруженном VPN, офисной сети или публичном Wi-Fi ваш лимит делится с незнакомцами. Зайти позже со своего обычного домашнего или мобильного подключения разумно, а вот быстро менять адреса, чтобы обогнать правило, — ровно то, от чего правило и защищает.
4. Обновите или переустановите сбоящее приложение. Мобильное приложение с ошибкой в повторах может незаметно для вас слать запрос сотни раз в минуту.
5. Напишите владельцу сайта. Если блокировка повторяется при обычном использовании, отправьте поддержке Ray ID, время и примерное местоположение. Изменить правило могут только они.

Что делать разработчикам, парсерам и API-клиентам

Большую часть ошибок 1015 вызывают автоматические клиенты, и правильная реакция — вести себя как вежливый гость. Сбор общедоступных данных законен, если не выходит за условия сайта; более широкая картина — в инструкции о том, как снизить риск блокировки при парсинге.

Уважайте 429 и Retry-After

Считайте 429 указанием, а не препятствием. Если в ответе есть заголовок Retry-After, ждите не меньше указанного. Если его нет, увеличивайте паузу экспоненциально со случайной добавкой и ограничьте число повторов:

import random, time

def polite_get(session, url, attempts=5):
    pause = 2
    for _ in range(attempts):
        reply = session.get(url, timeout=30)
        if reply.status_code != 429:
            return reply
        hint = reply.headers.get("Retry-After")
        delay = int(hint) if hint and hint.isdigit() else pause + random.uniform(0, 1)
        time.sleep(delay)
        pause *= 2
    raise RuntimeError(f"still limited after {attempts} tries: {url}")

Снизьте параллельность и растяните запросы во времени

Десять параллельных потоков по одному запросу в секунду — это 600 запросов в минуту от одного клиента. Задайте общий потолок на весь краулер, а не на поток, и планируйте большие задания на часы низкой нагрузки по времени целевого сайта.

Запрашивайте меньше

Кэшируйте уже полученные ответы, используйте условные запросы с If-Modified-Since или ETag, чтобы неизменившиеся страницы возвращали короткий 304, и не скачивайте ненужные картинки, шрифты и скрипты. У многих сайтов есть официальный API, карта сайта или выгрузки, которые дают те же данные при малой доле нагрузки.

Попросите доступ

Если большой объём нужен для законной задачи, напишите владельцу. Объясните, что и зачем собираете, укажите контактный адрес в строке User-Agent и попросите повышенную квоту, ключ API или внесение в белый список. Белый список проще всего выдать для постоянного адреса — здесь помогает выделенный IP из наших статических прокси: владелец видит один предсказуемый источник вместо потока меняющихся адресов.

Не размазывайте нагрузку ради обхода лимита

Если делить тот же трафик между множеством IP, чтобы каждый оставался под порогом, вы идёте против воли владельца, часто нарушаете условия сайта и обычно провоцируете более жёсткую защиту от ботов. Распределяйте нагрузку во времени, а не между «личностями». Чем обычно заканчиваются такие эскалации, показывает обзор ошибок при парсинге сайтов.

Что делать владельцу сайта

Если на 1015 натыкаются ваши собственные посетители или интеграции, правило, скорее всего, слишком жёсткое или считает не по тому признаку.

Найдите сработавшее правило

Найдите в журнале событий безопасности Cloudflare Ray ID, который прислал пользователь. В записи будут правило, совпавший путь и характеристики подсчёта.

Настройте пороги и окна

В документации Cloudflare отмечено, что очень короткие окна дают ложные срабатывания, и советуется удлинить период в одну секунду примерно до десяти. Прежде чем ставить число, посмотрите на реальный трафик, а для страниц, которые люди просматривают, предпочитайте управляемую проверку жёсткой блокировке.

Считайте по правильному ключу

Подсчёт по голому IP наказывает пользователей за шлюзами операторов и корпоративными сетями. Если тариф позволяет, используйте IP с учётом NAT, cookie сеанса или заголовок с ключом API, чтобы у каждого реального клиента был свой счётчик.

Исключите то, что не должно считаться

Выведите из правила статические файлы и кэшированные ответы, сделайте исключения для мониторинга доступности и платёжных вебхуков, пропускайте подтверждённых поисковых роботов. Новые правила несколько дней проверяйте с действием Log, прежде чем переключать на Block.

Проверьте собственный код

Одностраничное приложение, опрашивающее эндпоинт каждую секунду, мобильный релиз с циклом повторов или неправильно настроенная задача cron способны вытолкнуть за лимит ваших же клиентов. Сначала исправьте клиента, потом пересматривайте порог.

Есть и другой вариант 1015 — сообщение Unable to purge при очистке кэша в панели. Обычно он исчезает при повторной попытке; если нет, обращайтесь в поддержку Cloudflare.