Прокси в WebHarvy: список прокси, импорт из файла и ротация

Чтобы подключить прокси в WebHarvy, нажмите Settings в меню Home, откройте вкладку Proxy Settings, впишите адрес, порт и при необходимости логин с паролем в блоке Add proxy, нажмите кнопку + и примените настройки. Если добавить в Proxy List несколько адресов и отметить Rotate proxies, программа будет переключаться между ними; без этой галочки используется только первый прокси из списка.
Это вся базовая настройка, но она не отвечает на вопросы, от которых зависит, доработает ли долгий сбор до конца: как загрузить сотню прокси за раз, когда хватает встроенной ротации, а когда лучше шлюз с ротацией на стороне провайдера, и какие параметры парсера и браузера менять вместе с прокси. Обо всём этом — ниже.
Резидентские прокси
Резидентские прокси с ротацией для стабильного сбора данных в WebHarvy
Что принимает WebHarvy
WebHarvy — визуальный парсер для Windows со встроенным браузером: данные выбираются щелчками по странице, без кода. Интерфейс только на английском, поэтому названия пунктов даны как в программе. В настройках прокси поддерживаются пять типов:
| Тип | Когда выбирать |
|---|---|
| HTTP | Большинство платных прокси, самый простой вариант |
| HTTPS | Прокси, которые ждут зашифрованного соединения до самого прокси |
| SOCKS4 | Только старые прокси с авторизацией по IP, без пароля |
| SOCKS4a | Как SOCKS4, но имена сайтов разрешает прокси |
| SOCKS5 | Логин и пароль, любой трафик; надёжный выбор, если провайдер его даёт |
Чем последний тип отличается от остальных, подробно разобрано в статье о том, что такое SOCKS5-прокси.
От провайдера понадобятся хост, порт, логин и пароль либо привязка к IP компьютера, на котором запущен WebHarvy.
Как добавить один прокси вручную
Шаг 1. Откройте Proxy Settings
Запустите WebHarvy и нажмите Settings в меню Home. В окне есть вкладки Miner, Browser, Proxy, Category/Keyword, Image и AI. Перейдите на Proxy Settings.

Шаг 2. Опишите прокси
В блоке Add proxy:
- Включите опцию подключения через прокси-сервер.
- Выберите тип прокси в списке.
- Укажите адрес сервера и порт.
- Если прокси работает по логину, включите авторизацию и впишите имя пользователя и пароль.
Шаг 3. Добавьте его в список
Нажмите + — запись появится в Proxy List. Примените настройки и закройте окно.
Чтобы потом поправить запись, дважды щёлкните по её имени в списке, измените поля в блоке Add proxy и нажмите кнопку с галочкой.

Импорт списка прокси из файла
Вбивать десятки адресов руками долго. WebHarvy загружает их из CSV или текстового файла кнопкой Import рядом со списком. Каждый прокси записывается как адрес, порт, логин и пароль через двоеточие; две последние части необязательны:
192.0.2.140:7000:wh-node-1:Zx41key
192.0.2.141:7000:wh-node-2:Zx42key
198.51.100.9:3128Записи можно ставить по одной в строке или разделять запятыми либо точками с запятой. Несколько советов:
- Один тип прокси на файл. Если смешать SOCKS и HTTP в одном импорте, причину сбоев будет трудно найти.
- Уберите пустые строки и пробелы, которые попадают в текст при копировании из кабинета провайдера.
- Проверьте список до долгого запуска. Бесплатный прокси-чекер быстро покажет, какие адреса отвечают и какой выходной IP у каждого.
Ротация: встроенная в WebHarvy или через шлюз провайдера
Менять IP во время сбора можно двумя способами, и подходят они под разные задачи.
| Rotate proxies в WebHarvy | Шлюз с ротацией у провайдера | |
|---|---|---|
| Что добавляете | Список отдельных прокси | Один хост и порт |
| Кто меняет IP | WebHarvy периодически переключает записи | Провайдер выдаёт новый выходной IP на запрос или на сессию |
| Управление частотой | В официальном руководстве настройка интервала не описана | Задаётся в кабинете провайдера (каждый запрос или «липкая» сессия) |
| Размер пула | Сколько записей импортировали | Большой общий пул за одним адресом |
| Когда удобнее | Небольшой постоянный набор статических IP | Каталоги, выдача, много страниц одного сайта |
Со шлюзом вроде наших резидентских прокси с ротацией достаточно одной записи, а Rotate proxies можно не включать: на стороне WebHarvy переключать нечего. Если сайт требует входа в аккаунт, попросите у провайдера липкую сессию, чтобы адрес не менялся, пока парсер проходит страницы, завязанные на эту сессию.

Какие настройки менять вместе с прокси
Одних прокси для стабильного сбора мало. Не меньше значат параметры в том же окне Settings:
- Disable cookies while mining (вкладка Browser). WebHarvy время от времени удаляет cookies, чтобы сайт не связывал все запросы с одной историей посещений. Для сайтов, где нужен вход в аккаунт, опцию не включайте — иначе сессия пропадёт.
- Inject pauses during mining и Add random pauses (вкладка Miner). Короткие паузы между загрузками страниц делают темп запросов вежливым, снижают нагрузку на сайт и вместе с ней вероятность ограничений по частоте.
- Page Load Timeout (вкладка Miner, по умолчанию 30 секунд). Через прокси страницы грузятся чуть дольше; если в результатах появляются пустые строки, тайм-аут лучше увеличить, а не уменьшать.
- Maximum number of parallel mining threads (окно Advanced Miner Options). Больше потоков — больше одновременных запросов через ваши прокси. Начинайте с малого и повышайте, только если сайт отвечает нормально.
- Disable loading images (вкладка Browser). Меньше скачанных файлов — быстрее страницы и меньше трафика, что важно для прокси с оплатой за гигабайт.

Как проверить, что прокси работает
- После применения настроек откройте во встроенном браузере WebHarvy любую страницу проверки IP. Показанный адрес должен принадлежать прокси, а не вашему подключению. По данным сторонних инструкций по интеграции, начиная с версии 6.1 через прокси идёт и браузер настройки, а в более старых сборках прокси работал только во время сбора; если версия у вас давняя, проверьте адрес коротким тестовым сбором, который извлекает данные с самой страницы проверки IP.
- Перед полным запуском прогоните короткий сбор на двух-трёх страницах и сравните результат с тем, что видно в обычном браузере.
- При включённой ротации повторите проверку IP через некоторое время — адрес должен меняться.
Частые проблемы
Страницы остаются пустыми или сбор обрывается раньше времени. Чаще всего в списке мёртвый или медленный прокси. Перепроверьте список и уберите неработающие адреса; бесплатные публичные прокси особенно ненадёжны, о чём предупреждает и руководство самого WebHarvy.
Окно авторизации или ошибка 407. Неверный логин или пароль либо для записи не включена авторизация. Откройте её двойным щелчком и исправьте.
Всегда используется один и тот же IP. Выключена Rotate proxies, поэтому WebHarvy берёт первую запись. Включите опцию или перейдите на шлюз с ротацией.
Данные из личного кабинета пропадают посреди сбора. Удаляются cookies или IP сменился в середине сессии. Отключите очистку cookies для этого сайта и используйте липкую сессию.
Сайт всё равно показывает страницу блокировки. Сбавьте темп: добавьте паузы, уменьшите число потоков и загляните в наш разбор о том, как снизить риск блокировки при веб-скрейпинге. Соблюдайте правила сайта и robots.txt и не собирайте персональные данные без законного основания.
Какие есть альтернативы
Если возможностей WebHarvy станет мало, облачные и десктопные no-code-инструменты дают запуск по расписанию и больше настроек прокси; в инструкции по прокси в Octoparse показано, как с ними работает другой популярный парсер.
Частые вопросы о прокси в WebHarvy
Какие типы прокси поддерживает WebHarvy?
WebHarvy работает с HTTP, HTTPS, SOCKS4, SOCKS4a и SOCKS5. У каждой записи могут быть свои логин и пароль.
Как загрузить в WebHarvy сразу много прокси?
Нажмите Import в Proxy Settings и выберите CSV или текстовый файл. Каждый прокси пишется как адрес, порт, логин и пароль через двоеточие — по одному в строке или через запятую либо точку с запятой.
Как часто WebHarvy меняет прокси?
При включённой Rotate proxies программа периодически переходит к следующему адресу списка, но интервал в официальном руководстве не указан. Если нужен точный контроль, возьмите шлюз с ротацией и настройте смену IP в кабинете провайдера.
Нужна ли опция Rotate proxies при резидентском шлюзе с ротацией?
Нет. Шлюз меняет выходные IP на своей стороне, поэтому хватит одной записи, а опцию можно не включать.
Почему WebHarvy не использует часть прокси из списка?
Без Rotate proxies работает только первая запись. Если ротация включена, а часть адресов всё равно не срабатывает, скорее всего они недоступны или с ошибкой в логине; проверьте список и удалите такие записи.


