Назад к блогу

Прокси в WebHarvy: список прокси, импорт из файла и ротация

Прокси в WebHarvy: список прокси, импорт из файла и ротация

Чтобы подключить прокси в WebHarvy, нажмите Settings в меню Home, откройте вкладку Proxy Settings, впишите адрес, порт и при необходимости логин с паролем в блоке Add proxy, нажмите кнопку + и примените настройки. Если добавить в Proxy List несколько адресов и отметить Rotate proxies, программа будет переключаться между ними; без этой галочки используется только первый прокси из списка.

Это вся базовая настройка, но она не отвечает на вопросы, от которых зависит, доработает ли долгий сбор до конца: как загрузить сотню прокси за раз, когда хватает встроенной ротации, а когда лучше шлюз с ротацией на стороне провайдера, и какие параметры парсера и браузера менять вместе с прокси. Обо всём этом — ниже.

Резидентские прокси

Резидентские прокси с ротацией для стабильного сбора данных в WebHarvy

Попробовать

Что принимает WebHarvy

WebHarvy — визуальный парсер для Windows со встроенным браузером: данные выбираются щелчками по странице, без кода. Интерфейс только на английском, поэтому названия пунктов даны как в программе. В настройках прокси поддерживаются пять типов:

ТипКогда выбирать
HTTPБольшинство платных прокси, самый простой вариант
HTTPSПрокси, которые ждут зашифрованного соединения до самого прокси
SOCKS4Только старые прокси с авторизацией по IP, без пароля
SOCKS4aКак SOCKS4, но имена сайтов разрешает прокси
SOCKS5Логин и пароль, любой трафик; надёжный выбор, если провайдер его даёт

Чем последний тип отличается от остальных, подробно разобрано в статье о том, что такое SOCKS5-прокси.

От провайдера понадобятся хост, порт, логин и пароль либо привязка к IP компьютера, на котором запущен WebHarvy.

Как добавить один прокси вручную

Шаг 1. Откройте Proxy Settings

Запустите WebHarvy и нажмите Settings в меню Home. В окне есть вкладки Miner, Browser, Proxy, Category/Keyword, Image и AI. Перейдите на Proxy Settings.

Вкладка Proxy в настройках WebHarvy: включён Enable network connection via Proxy Server, тип HTTP, адрес, порт 50100 и авторизация с логином и паролем
Заполнение прокси на вкладке Proxy в WebHarvy

Шаг 2. Опишите прокси

В блоке Add proxy:

  1. Включите опцию подключения через прокси-сервер.
  2. Выберите тип прокси в списке.
  3. Укажите адрес сервера и порт.
  4. Если прокси работает по логину, включите авторизацию и впишите имя пользователя и пароль.

Шаг 3. Добавьте его в список

Нажмите + — запись появится в Proxy List. Примените настройки и закройте окно.

Чтобы потом поправить запись, дважды щёлкните по её имени в списке, измените поля в блоке Add proxy и нажмите кнопку с галочкой.

Вкладка Proxy в WebHarvy: прокси сохранён в Proxy List, рядом опция Rotate proxies every N minutes
Сохранённый прокси появляется в списке Proxy List

Импорт списка прокси из файла

Вбивать десятки адресов руками долго. WebHarvy загружает их из CSV или текстового файла кнопкой Import рядом со списком. Каждый прокси записывается как адрес, порт, логин и пароль через двоеточие; две последние части необязательны:

192.0.2.140:7000:wh-node-1:Zx41key
192.0.2.141:7000:wh-node-2:Zx42key
198.51.100.9:3128

Записи можно ставить по одной в строке или разделять запятыми либо точками с запятой. Несколько советов:

  • Один тип прокси на файл. Если смешать SOCKS и HTTP в одном импорте, причину сбоев будет трудно найти.
  • Уберите пустые строки и пробелы, которые попадают в текст при копировании из кабинета провайдера.
  • Проверьте список до долгого запуска. Бесплатный прокси-чекер быстро покажет, какие адреса отвечают и какой выходной IP у каждого.

Ротация: встроенная в WebHarvy или через шлюз провайдера

Менять IP во время сбора можно двумя способами, и подходят они под разные задачи.

Rotate proxies в WebHarvyШлюз с ротацией у провайдера
Что добавляетеСписок отдельных проксиОдин хост и порт
Кто меняет IPWebHarvy периодически переключает записиПровайдер выдаёт новый выходной IP на запрос или на сессию
Управление частотойВ официальном руководстве настройка интервала не описанаЗадаётся в кабинете провайдера (каждый запрос или «липкая» сессия)
Размер пулаСколько записей импортировалиБольшой общий пул за одним адресом
Когда удобнееНебольшой постоянный набор статических IPКаталоги, выдача, много страниц одного сайта

Со шлюзом вроде наших резидентских прокси с ротацией достаточно одной записи, а Rotate proxies можно не включать: на стороне WebHarvy переключать нечего. Если сайт требует входа в аккаунт, попросите у провайдера липкую сессию, чтобы адрес не менялся, пока парсер проходит страницы, завязанные на эту сессию.

Схема: программа-парсер отправляет запросы через шлюз, который передаёт каждый запрос на свой выходной адрес
Шлюз с ротацией меняет выходной IP, а в WebHarvy остаётся одна запись прокси

Какие настройки менять вместе с прокси

Одних прокси для стабильного сбора мало. Не меньше значат параметры в том же окне Settings:

  • Disable cookies while mining (вкладка Browser). WebHarvy время от времени удаляет cookies, чтобы сайт не связывал все запросы с одной историей посещений. Для сайтов, где нужен вход в аккаунт, опцию не включайте — иначе сессия пропадёт.
  • Inject pauses during mining и Add random pauses (вкладка Miner). Короткие паузы между загрузками страниц делают темп запросов вежливым, снижают нагрузку на сайт и вместе с ней вероятность ограничений по частоте.
  • Page Load Timeout (вкладка Miner, по умолчанию 30 секунд). Через прокси страницы грузятся чуть дольше; если в результатах появляются пустые строки, тайм-аут лучше увеличить, а не уменьшать.
  • Maximum number of parallel mining threads (окно Advanced Miner Options). Больше потоков — больше одновременных запросов через ваши прокси. Начинайте с малого и повышайте, только если сайт отвечает нормально.
  • Disable loading images (вкладка Browser). Меньше скачанных файлов — быстрее страницы и меньше трафика, что важно для прокси с оплатой за гигабайт.
Иллюстрация: ровный поток запросов с паузами рядом с плотной лавиной запросов к сайту
Равномерный темп с паузами бережнее к сайту, чем залп параллельных запросов

Как проверить, что прокси работает

  1. После применения настроек откройте во встроенном браузере WebHarvy любую страницу проверки IP. Показанный адрес должен принадлежать прокси, а не вашему подключению. По данным сторонних инструкций по интеграции, начиная с версии 6.1 через прокси идёт и браузер настройки, а в более старых сборках прокси работал только во время сбора; если версия у вас давняя, проверьте адрес коротким тестовым сбором, который извлекает данные с самой страницы проверки IP.
  2. Перед полным запуском прогоните короткий сбор на двух-трёх страницах и сравните результат с тем, что видно в обычном браузере.
  3. При включённой ротации повторите проверку IP через некоторое время — адрес должен меняться.

Частые проблемы

Страницы остаются пустыми или сбор обрывается раньше времени. Чаще всего в списке мёртвый или медленный прокси. Перепроверьте список и уберите неработающие адреса; бесплатные публичные прокси особенно ненадёжны, о чём предупреждает и руководство самого WebHarvy.

Окно авторизации или ошибка 407. Неверный логин или пароль либо для записи не включена авторизация. Откройте её двойным щелчком и исправьте.

Всегда используется один и тот же IP. Выключена Rotate proxies, поэтому WebHarvy берёт первую запись. Включите опцию или перейдите на шлюз с ротацией.

Данные из личного кабинета пропадают посреди сбора. Удаляются cookies или IP сменился в середине сессии. Отключите очистку cookies для этого сайта и используйте липкую сессию.

Сайт всё равно показывает страницу блокировки. Сбавьте темп: добавьте паузы, уменьшите число потоков и загляните в наш разбор о том, как снизить риск блокировки при веб-скрейпинге. Соблюдайте правила сайта и robots.txt и не собирайте персональные данные без законного основания.

Какие есть альтернативы

Если возможностей WebHarvy станет мало, облачные и десктопные no-code-инструменты дают запуск по расписанию и больше настроек прокси; в инструкции по прокси в Octoparse показано, как с ними работает другой популярный парсер.

Частые вопросы о прокси в WebHarvy

Какие типы прокси поддерживает WebHarvy?

WebHarvy работает с HTTP, HTTPS, SOCKS4, SOCKS4a и SOCKS5. У каждой записи могут быть свои логин и пароль.

Как загрузить в WebHarvy сразу много прокси?

Нажмите Import в Proxy Settings и выберите CSV или текстовый файл. Каждый прокси пишется как адрес, порт, логин и пароль через двоеточие — по одному в строке или через запятую либо точку с запятой.

Как часто WebHarvy меняет прокси?

При включённой Rotate proxies программа периодически переходит к следующему адресу списка, но интервал в официальном руководстве не указан. Если нужен точный контроль, возьмите шлюз с ротацией и настройте смену IP в кабинете провайдера.

Нужна ли опция Rotate proxies при резидентском шлюзе с ротацией?

Нет. Шлюз меняет выходные IP на своей стороне, поэтому хватит одной записи, а опцию можно не включать.

Почему WebHarvy не использует часть прокси из списка?

Без Rotate proxies работает только первая запись. Если ротация включена, а часть адресов всё равно не срабатывает, скорее всего они недоступны или с ошибкой в логине; проверьте список и удалите такие записи.