Прокси в Netpeak Spider и Netpeak Checker: список, проверка и ограничения

Чтобы подключить прокси в Netpeak Spider, откройте Settings → Proxy, отметьте Use a list of HTTP proxies, добавьте прокси по одной на строку в виде Host:Port или Host:Port:Login:Password и дождитесь проверки. Число потоков задаётся на вкладке General и определяет порядок ротации: в один поток запросы идут через прокси по очереди, в несколько — разные прокси работают одновременно. Netpeak Checker использует прокси в основном для функций, связанных с Google, а формат списка там тот же.

Конкуренты пишут, что умеют эти программы, но саму вкладку прокси обходят стороной. Здесь — когда прокси вообще нужны, точные шаги в Spider, что значат коды в таблице прокси, как Checker работает с ними при сборе поисковых данных и какие ограничения Netpeak стоит знать заранее.

Нужны ли прокси в Netpeak

Часто — нет. В справке Netpeak прямо сказано, что обычный аудит и большинство анализов проходят с вашего обычного подключения. Сканирование собственного сайта на умеренной скорости почти никогда ничего не запускает на стороне сервера.

Прокси становятся нужны в таких ситуациях:

• Данные Google в Netpeak Checker. Параметры Google SERP и SE Scraper для Google — главная причина добавить список. Также Netpeak упоминает параметр трафика сайта, если запросов больше примерно 1000.
• Сайты, которые ограничивают частые запросы. Крупные маркетплейсы, каталоги и медиа лимитируют скорость загрузки страниц с одного IP.
• Региональные версии. Если сайт меняет контент или перенаправляет по стране, сканирование через прокси из этой страны покажет то, что видят местные пользователи и поисковые роботы. Как определяется местоположение адреса, рассказано в статье о геолокации прокси.
• Ограниченный доступ. Тестовые серверы и партнёрские разделы, открытые только для определённых IP.

Если ничего из этого не про вас, начните без прокси и добавляйте их, только когда в результатах сканирования появятся таймауты и ответы 429 или 403.

Что принимает вкладка Proxy

По документации Netpeak к настройкам прокси:

• вкладка работает с HTTP-прокси, про SOCKS не сказано ничего;
• в поле хоста ожидается IPv4-адрес;
• если порт не указан, подставляется 80;
• формат строки — Host:Port или Host:Port:Login:Password.

Значит, у провайдера стоит взять HTTP-список с IPv4-точками входа в этом формате из четырёх частей. Пример:

203.0.113.71:3128
203.0.113.72:3128:crawl-team:Vb73pq

Шлюз, заданный доменным именем, в разных версиях может приниматься или нет. Если хост с именем не проходит, используйте IP-адрес, который провайдер указывает для этого шлюза.

Пошаговая настройка в Netpeak Spider

Шаг 1. Откройте настройки прокси

Откройте окно настроек через меню Settings и перейдите на вкладку Proxy. Если сканирование идёт, сначала поставьте его на паузу: Netpeak применяет изменённые настройки только после паузы и только к страницам, просканированным после неё.

Шаг 2. Включите список

Отметьте Use a list of HTTP proxies — таблица ниже станет активной.

Шаг 3. Добавьте прокси

Способов три:

• Enter manually (или Ctrl+D) — вставить блок строк, по одной прокси в строке;
• Add row (или Ctrl+N) — заполнить хост, порт, логин и пароль прямо в таблице;
• Paste — вставить список из буфера обмена кнопкой, через контекстное меню или Ctrl+V.

Шаг 4. Проверьте список

Прокси тестируются сразу после добавления. Чтобы повторить проверку, нажмите Check и выберите цель: Internet access, Google, Bing, Yahoo или Yandex. Тест на ту поисковую систему, с которой вы собираетесь работать, информативнее простой проверки связи.

Шаг 5. Почистите и сохраните

Кнопкой Delete удалите нерабочие прокси (или все, или только выделенные), подтвердите настройки и запустите или продолжите сканирование.

Как читать таблицу прокси

Потоки и ротация

Потоки настраиваются на вкладке General, и это единственная настройка, которую можно менять во время сканирования без паузы. Netpeak описывает ротацию так: в один поток каждый запрос уходит со следующей прокси списка, а в конце цикл начинается заново; в несколько потоков запросы одновременно идут с разных прокси.

Для старта разумно брать потоков не больше, чем прокси, а для строгих целей — меньше. В справочной статье об ошибках Google в Checker Netpeak первым делом советует юзер-агент Chrome, задержку между запросами, подобранную опытным путём, и меньшее число потоков, а уже потом — список приватных прокси. Соблюдайте правила поисковой системы и собирайте ровно тот объём, который нужен для анализа.

Прокси в Netpeak Checker

Checker собирает метрики по спискам URL и доменов из множества источников, и лишь часть из них активно нагружает один хост. Очевидные случаи — параметры Google SERP и SE Scraper. Список прокси в Checker хранится в его собственном окне настроек и принимает тот же формат строк, что и Spider. Подробно вкладка прокси в справке Netpeak описана только для Spider, так что названия полей в вашей сборке Checker могут слегка отличаться.

Советы для Checker:

• перед задачей по выдаче проверяйте список на Google, а не только на Internet access;
• для поисковых данных пул резидентских прокси из анализируемой страны даёт результаты, близкие к тому, что видят местные пользователи;
• большие списки URL делите на части, чтобы одна заблокированная сессия не перечеркнула всю задачу.

Ограничения, которые стоит знать до покупки

• Только HTTP. Если провайдер выдаёт исключительно SOCKS5, напрямую Netpeak с ними не заработает.
• IPv4-хосты. IPv6-прокси в поле хоста не подходят.
• Ротация на каждый запрос. Spider меняет прокси от запроса к запросу, поэтому сайты, которые привязывают сессию к IP (авторизация, корзина, часть окон согласия), могут работать некорректно. Для них берите одну прокси или «липкую» сессию у провайдера; разницу режимов мы разбирали в статье sticky или ротируемые прокси.
• Нет привязки прокси к стране. Программа не группирует прокси по регионам: держите отдельный список на каждую страну и меняйте его между сканированиями.

Для сканирования своего или клиентского сайта, где важны лишь скорость и стабильность, обычно хватает статических прокси с постоянным адресом — их легко добавить в белый список на сервере.

Частые ошибки

У всех прокси статус 407. Неверный логин или пароль, либо провайдер ждёт авторизацию по IP. Введите данные заново или добавьте внешний IP компьютера в белый список.

Проверку Internet access прокси проходят, а Google — нет. Эти IP помечены поисковиком. Уменьшите потоки, добавьте задержку или перейдите на резидентские адреса.

После подключения прокси сканирование сильно замедлилось. Несколько медленных адресов держат потоки. Отсортируйте по времени ответа и удалите худшие.

Страницы после авторизации теряют сессию. Ротация сменила IP посреди сессии. Для такого сканирования используйте одну прокси.

Результаты отличаются от того, что видно в браузере. Прокси находится в другой стране, и сайт отдаёт региональную версию. Проверьте местоположение выхода нашим прокси-чекером.