Резидентские прокси в RAG: когда они нужны конвейеру данных

RAG (генерация с дополненным поиском) даёт языковой модели свежий контекст: перед ответом система находит и загружает документы. Если эти документы лежат на открытых сайтах, слой загрузки превращается в краулер, а краулер упирается в лимиты запросов, блокировки IP и страницы, которые выглядят по-разному в разных странах. Резидентские прокси работают именно на этом слое: распределяют запросы по домашним IP-адресам и позволяют загрузить страницу так, как её видит посетитель из нужного региона.

При этом они не обязательная часть RAG. Системе, которая отвечает по внутренним PDF или по чистому официальному API, прокси не нужны вовсе. Ниже разберём, где прокси стоят в RAG-конвейере, по каким признакам понять, что они нужны, как настроить ротацию и закреплённые сессии для индексации и живого поиска, как держать под контролем стоимость резидентского трафика и какие проблемы прокси не решают.

Где в RAG находится сетевой слой

Обычный конвейер обращается к вебу в двух местах.

1. Индексация. Краулер находит адреса, скачивает страницы, извлекает текст, режет его на фрагменты, строит эмбеддинги и записывает их в векторную базу. Затем он по расписанию возвращается к источникам, чтобы индекс оставался актуальным.
2. Живой поиск. Некоторые агенты ищут и загружают страницы прямо во время вопроса, пока пользователь ждёт. Здесь неудачный запрос означает, что модель ответит без нужного контекста.

В обоих случаях прокси относятся к шагу загрузки. На нарезку текста, эмбеддинги и промпты они не влияют. Как поиск адресов и извлечение данных делят работу, объясняет статья про веб-краулеры и веб-скраперы.

Признаки того, что конвейеру нужны прокси

• Дыры в индексе. Страницы приходят пустыми, обрезанными или в виде капчи, и такие фрагменты незаметно портят ответы.
• Рост ответов 403 и 429 по мере добавления источников или сокращения интервала обновления.
• Контент зависит от региона. Цены, наличие, местные новости и поисковая выдача отличаются по странам и городам, а модель должна рассуждать о конкретном рынке.
• Частые повторные обходы. Одни и те же адреса скачиваются ежедневно или ежечасно, и единственный серверный IP быстро начинает выглядеть для источника как бот.
• Много доменов сразу. Сотни сайтов со своими лимитами трудно обслуживать с одного адреса.

Если ничего из этого не про вас, лишний компонент не нужен: он добавляет задержку, расходы и ещё одну точку для мониторинга.

Почему резидентские, а не дата-центровые

Серверные IP быстрые и дешёвые, и для сайтов документации, открытых порталов данных и лояльных блогов это разумный выбор — подробнее в обзоре прокси дата-центров. Резидентские адреса оправдывают свою цену там, где источник фильтрует трафик по происхождению IP или нужен реалистичный региональный взгляд.

Многие команды комбинируют: дата-центровые IP для простых доменов и резидентский пул только для упрямых.

Ротация или закреплённые сессии

Ротация выдаёт новый IP на каждый запрос. Она подходит для индексации, где загрузки страниц независимы и нагрузку хочется размазать по пулу тонким слоем.

Закреплённые сессии держат один IP несколько минут. Они нужны, когда загрузка состоит из нескольких шагов: принять cookie-баннер, пролистать страницы результатов или пройти цепочку редиректов, которая ставит cookies. Смена IP посреди такой цепочки часто её ломает. Подробнее о плюсах и минусах — в статье про закреплённые и ротируемые прокси.

Для живого поиска во время ответа лучше закреплённая сессия на каждый вопрос с коротким таймаутом и одной быстрой повторной попыткой с нового IP. Там задержка важнее пропускной способности.

Шаг загрузки, который экономит трафик

Резидентские тарифы обычно считаются за гигабайты, а RAG-конвейеры снова и снова скачивают одни и те же страницы. Условные запросы позволяют сайту ответить «не изменилось» с пустым телом — вы почти ничего не платите и не пересчитываете эмбеддинги. Минимальный пример на Python:

import requests

entry = "http://user-7f3k-country-us:s3cret-pass@gw.example.net:7000"
web = requests.Session()
web.proxies = {"http": entry, "https": entry}

def fetch_doc(link, known_etag=None):
    cond = {"If-None-Match": known_etag} if known_etag else {}
    reply = web.get(link, headers=cond, timeout=20)
    if reply.status_code == 304:
        return None, known_etag      # страница не менялась
    reply.raise_for_status()
    return reply.text, reply.headers.get("ETag")

Храните ETag рядом с каждым документом. Если сайт присылает Last-Modified, точно так же используйте If-Modified-Since. Формат логина с выбором страны у провайдеров разный, его берут из личного кабинета.

Ещё способы сократить трафик:

• считайте хеш извлечённого текста и пересчитывайте эмбеддинги только при его изменении;
• при рендеринге в headless-браузере блокируйте картинки, шрифты и видео;
• сначала загружайте sitemap или RSS и скачивайте только изменившиеся адреса.

Что прокси не исправят

Страницы на JavaScript. Если источник собирает контент в браузере, обычный HTTP-запрос вернёт пустую оболочку при любом IP. Для таких доменов нужен headless-браузер.

Поломка парсера. Когда сайт меняет вёрстку, извлечение тихо ломается. Следите за длиной извлечённого текста по каждому домену и ставьте оповещение на резкое падение. Типичные сбои перечислены в статье об ошибках при парсинге сайтов.

Правовые и этические рамки. Соблюдайте robots.txt и условия каждого сайта, не собирайте персональные данные без законного основания и помните об авторских правах на сохранённые тексты. Прокси меняет маршрут запроса, а не ваши права.

Как выбрать провайдера для RAG

1. Размер и распределение пула в странах, которые обслуживают ваши источники. Несколько тысяч IP в одном городе не потянут глобальный обход.
2. Глубина таргетинга. Большинству проектов хватает страны; для локальной выдачи и цен может понадобиться город.
3. Управление сессиями. И ротация на каждый запрос, и закреплённые сессии с настраиваемой длительностью.
4. Протоколы. HTTP(S) покрывает большинство загрузчиков; SOCKS5 нужен только особым клиентам.
5. Измеренные задержка и доля успешных запросов на ваших реальных источниках с вашей реальной параллельностью.
6. Условия по трафику, в том числе что происходит с неизрасходованными гигабайтами в конце периода.

Наши резидентские прокси поддерживают таргетинг по стране и городу, ротацию и закреплённые сессии по HTTP и SOCKS5. Если конвейер собирает ещё и поисковую выдачу, пригодится сценарий сбора данных из выдачи.

Чек-лист внедрения

1. Убедитесь, что конвейер действительно загружает открытые веб-страницы; если нет — на этом всё.
2. Оцените число страниц в день, частоту обновления и средний вес страницы, чтобы спрогнозировать трафик.
3. Разделите источники на простые, защищённые и региональные и назначьте каждой группе свой тип IP.
4. Добавьте условные запросы и хеширование текста до масштабирования.
5. С первого дня записывайте коды ответов, задержку, пустые извлечения и гигабайты по каждому домену.