Как настроить прокси в Octoparse: пошаговая инструкция
Чтобы подключить свои прокси в Octoparse, откройте задачу, перейдите в Task Settings → Anti-blocking, отметьте Access websites via proxies, выберите Use my own proxies, нажмите Configure, вставьте серверы по одному в строке и задайте, как часто программа должна переключаться между ними. На все уходит пара минут, но есть ограничения, о которых многие узнают слишком поздно: собственные прокси работают только при локальном запуске, официально поддерживаются только HTTP-серверы, а авторизация по логину и паролю не заявлена.
Ниже — каждый экран настройки, что делать с прокси, которым нужен логин, как выбрать интервал смены, пробный сбор с пагинацией и решения частых ошибок.
Ротационные прокси для парсинга
Ротационные прокси, которые распределяют запросы Octoparse по множеству IP
Что такое Octoparse и зачем ему прокси
Octoparse — парсер без программирования для Windows и macOS. Вы открываете страницу во встроенном браузере, кликаете по нужным данным, а программа превращает клики в сценарий: извлечь поля, перейти по кнопке следующей страницы, выгрузить результат в Excel, CSV или JSON. Задачи запускаются на компьютере или в облаке Octoparse, для популярных сайтов есть готовые шаблоны.
Прокси нужны, когда задача открывает сотни и тысячи страниц. С одного домашнего или офисного IP сайт быстро начинает отвечать капчей, пустыми страницами или кодами 403/429. Распределение запросов по нескольким адресам, умеренный темп и соблюдение правил сайта делают сбор стабильным. О том, что помогает кроме прокси, — в статье о том, как снизить риск блокировки при веб-скрейпинге.
Прокси Octoparse или свои
На вкладке Anti-blocking два варианта:
| Прокси Octoparse | Use my own proxies | |
|---|---|---|
| Где работают | Локально и в облаке | Только локальный запуск |
| Оплата | Баланс в аккаунте Octoparse | У вашего провайдера |
| Выбор страны | Список Select Country/Region | Какие страны дает провайдер |
| Ротация | Rotate every (готовые интервалы) | Switch every (свое значение) |
| Протокол | Управляет Octoparse | HTTP |
Облачные запуски принимают только встроенный пул. Если нужны свои адреса — конкретная страна или выделенный IP, — запускайте задачу на своем устройстве.
Что подготовить
- Установленный Octoparse с выполненным входом в аккаунт.
- Список HTTP-прокси в формате
host:port. Для парсинга удобны ротационные прокси: один адрес шлюза выдает новый IP на каждый запрос или сессию. - Внешний IP вашего компьютера в белом списке провайдера, если прокси обычно требует логин и пароль (подробности ниже).
Настройка прокси в Octoparse
Шаг 1. Создайте пользовательскую задачу
На главном экране нажмите + New в левой панели и выберите Custom Task. У шаблонных задач свои настройки, поэтому начинайте с пользовательской.
Шаг 2. Укажите стартовый адрес
Оставьте в URL Source вариант Enter manually, вставьте адрес первой страницы в поле URL Input и нажмите Save. Сюда можно добавить до 10 000 адресов, по одному в строке. Страница откроется во встроенном браузере.
Шаг 3. Откройте настройки задачи
На панели над страницей нажмите Task Settings. Рядом расположена кнопка Proxy — она пригодится при сборке сценария: встроенный браузер будет загружать страницы через ваши прокси, а программа предложит использовать их и при запуске задачи.
Шаг 4. Включите собственные прокси
В окне настроек выберите слева Anti-blocking. Отметьте Access websites via proxies, выберите Use my own proxies и нажмите Configure рядом с ним.
На этой же вкладке есть Auto-switch user agents и Auto clear cookies. Если включить их вместе с прокси, каждый новый IP будет выглядеть как новый посетитель, а не один и тот же браузер, который прыгает между адресами.
Шаг 5. Добавьте список прокси и интервал смены
В окне Proxy Settings два поля:
- Switch every — сколько Octoparse работает через один прокси, прежде чем перейти к следующей строке, например 10s, 60s или 300s.
- IP Proxies — сам список: по одному серверу в строке, хост и порт через двоеточие.
Список выглядит так (адреса условные):
198.51.100.21:8080
198.51.100.22:8080
198.51.100.23:8080Нажмите Confirm, затем Save в окне Task Settings.
Как выбрать интервал смены
- Ротационный шлюз. Если адрес шлюза сам меняет IP на стороне провайдера, хватит одной строки, а интервал почти не важен.
- Список статических IP. Задайте интервал так, чтобы один адрес успевал обработать разумную порцию страниц, например 30–60 секунд.
- Сайты со входом или корзиной. Страницам, которые хранят состояние между запросами, нужен один IP на всю сессию. Ставьте длинный интервал или закрепленную сессию; разница объяснена в статье о закрепленных и ротируемых прокси.
Прокси с логином и паролем
В справочном центре Octoparse сказано, что прокси с авторизацией по логину и паролю не поддерживаются. Надежное решение — авторизация по IP: в личном кабинете провайдера добавьте внешний IP компьютера, на котором работает Octoparse, в белый список и указывайте прокси просто как host:port.
В инструкциях некоторых провайдеров встречаются строки с учетными данными вроде http://user:pass@host:port или host:port:user:pass, и отдельные сборки Octoparse могут их принимать. Это неофициальный путь: перед боевым запуском сделайте короткий тест и проверьте IP.
Пробный запуск: сбор данных с нескольких страниц
- На загруженной странице кликните первый нужный элемент. В панели подсказок выберите Select all similar elements, затем Extract text of the selected elements.
- Для каталога с нумерованными страницами кликните ссылку на следующую страницу и выберите в подсказках вариант циклического клика для пагинации. Если вы пользовались автоопределением, то же правило задается настройкой Next page button.
- Нажмите Run, выберите Run on your device и запустите в режиме Standard Mode, чтобы видеть, как страницы грузятся через прокси.
- После завершения выгрузите результат в Excel, CSV или JSON. Если не уверены, какой формат подходит, посмотрите сравнение JSON и CSV.
Как проверить, что прокси работает
Создайте маленькую задачу со страницей определения IP в качестве адреса, извлеките текст с IP и запустите ее локально с вашими настройками прокси. В результате должны быть адреса прокси, сменяющиеся согласно интервалу, а не ваш собственный IP. Заранее каждый сервер можно проверить вне Octoparse в бесплатном чекере прокси.
Частые ошибки
В редакторе задача работает, а в облаке нет. Облачные запуски не используют ваши прокси — так задумано. Запускайте локально или переключитесь на прокси Octoparse.
Страницы не загружаются совсем. Неверный хост или порт, указан порт SOCKS5 вместо HTTP, или ваш IP не добавлен в белый список провайдера.
Ошибка 407 Proxy Authentication Required. Прокси ждет логин. Добавьте свой IP в белый список у провайдера или попросите адрес с авторизацией по IP.
Сбор останавливается через несколько страниц. Сайт ограничивает частоту запросов. Увеличьте паузы между шагами, сократите интервал смены или добавьте адресов. Другие причины разобраны в статье об ошибках при парсинге сайтов.
Постоянно слетает авторизация. IP меняется посреди сессии. Увеличьте Switch every или используйте закрепленную сессию.
Частые вопросы о прокси в Octoparse
Можно ли использовать SOCKS5-прокси в Octoparse?
Для собственного списка Octoparse официально поддерживает только HTTP. Попросите у провайдера HTTP-порт для того же сервера.
Работают ли мои прокси в облаке Octoparse?
Нет. В облаке используются только встроенные прокси Octoparse, ваш список действует для задач, запущенных на вашем устройстве.
Как добавить прокси с логином и паролем?
Официально такой вариант не поддерживается. Добавьте IP компьютера в белый список в кабинете провайдера и указывайте прокси в формате host:port.
Какой интервал смены поставить?
Для ротационного шлюза подойдет любой. Для списка статических IP разумно начать с 30–60 секунд, а для сайтов со входом держать один IP всю сессию.
Почему с прокси все равно появляется капча?
Парсер выдает темп или тип IP. Добавьте паузы, включите смену user agent и очистку cookies, а для строгих сайтов используйте резидентские адреса.
