Назад к блогу

Прокси в Human Emulator: enable_proxy, свой адрес для каждой копии и проверка IP

Прокси в Human Emulator: enable_proxy, свой адрес для каждой копии и проверка IP

В Human Emulator прокси включается прямо из скрипта: метод enable_proxy объекта browser получает строку host:port, а в свежих сборках — host:port;login;password, и после этого встроенный браузер ходит в сеть через указанный сервер. Настройка действует только для той копии программы, которая выполнила вызов, поэтому параллельные копии могут работать с разных адресов.

Обычно инструкции ограничиваются одной строчкой кода. Мы разберём, какие аргументы на самом деле принимает метод, покажем скрипт, который берёт адреса из списка и закрепляет за каждой копией свой, и добавим проверку: если внешний IP не тот, задача останавливается, а не продолжает работу с вашего домашнего подключения. Всё описанное рассчитано на честную автоматизацию: регрессионные проверки собственного сайта, мониторинг цен и наличия на открытых страницах, рутинные офисные операции.

Статические прокси для автоматизации

Статические прокси с логином и паролем, которые сохраняют один IP для скриптов Human Emulator

Попробовать

Что подготовить

  • Human Emulator Studio под Windows. Методы ниже описаны в официальной справке для ветки 7.x; логин и пароль внутри строки прокси, по данным документации, поддерживаются с версии 7.0.7.
  • Данные прокси от провайдера: хост, порт, логин, пароль и протокол порта (HTTP или SOCKS5).
  • Текстовый файл со списком, если копий будет несколько. Удобнее всего — одна строка на один прокси.

Для автоматизации, которая изо дня в день открывает одни и те же страницы, постоянные адреса ведут себя предсказуемее, чем пул с постоянной сменой. Наши статические прокси сохраняют IP на весь срок аренды и работают с логином и паролем — ровно в том формате, который понимает Human Emulator.

Как устроен enable_proxy

В справке метод описан так:

enable_proxy($connection, $proxy, $recreate = true);
  • $connection остался от старых версий. Нынешняя документация советует передавать пустую строку; в старых примерах и сторонних инструкциях встречается "all connections", и оба варианта есть в официальных образцах кода.
  • $proxy — сам адрес. Без авторизации это host:port, с авторизацией части разделяются точкой с запятой: host:port;login;password. Для SOCKS-сервера пример из справки добавляет приставку socks://.
  • $recreate (появился в 6.0.44) при значении true сразу пересоздаёт браузер. Ставьте false, только если пересоздадите браузер позже сами.

Метод возвращает true, если прокси применён, и false в противном случае, так что результат стоит проверять. Рядом есть ещё два метода: get_current_proxy показывает активный прокси, disable_proxy возвращает прямое соединение.

В некоторых старых статьях логин и пароль пишут через знак @. Текущая справка такой синтаксис не приводит, поэтому если ваша сборка не принимает вариант с точкой с запятой, сначала посмотрите номер версии.

Пошагово: прокси для одной копии

Шаг 1. Создайте новый скрипт

Запустите Human Emulator, выберите создание нового скрипта и оставьте заголовок, который программа вставляет сама (строки, связывающие скрипт с запущенной копией). Ниже примеры на PHP; те же методы доступны в Python, C# и JS.

Human Emulator Studio: в левой панели выделен пункт Quick start, Create new script, PHP
Создание нового PHP-скрипта в Human Emulator

Шаг 2. Включите прокси до первой загрузки страницы

// значения условные, настоящие возьмите в панели провайдера
$exitNode = "203.0.113.24:8000;user-7f3k;s3cretPass";

$applied = $browser->enable_proxy("", $exitNode);
if (!$applied) {
    echo "Прокси не применился, останавливаемся\n";
    $app->quit();
}

Порядок важен: всё, что браузер открыл до этого вызова, шло по старому маршруту.

Шаг 3. Проверьте внешний адрес

$seenIp = $connection->get_real_ip();
echo "Активный прокси: " . $browser->get_current_proxy() . "\n";
echo "Внешний IP: " . $seenIp . "\n";
$browser->navigate("https://node-proxy.com/ru/tools/proxy-checker");

get_real_ip запрашивает у внешнего сервиса адрес, под которым вас видит сеть. Если он совпадает с IP офиса или дома, маршрут не сработал. Для наглядности откройте наш бесплатный чекер прокси — он покажет ещё и страну выхода.

Скрипт отправляет трафик через прокси-сервер на проверку IP, которая либо пропускает, либо останавливает задачу
Проверяйте внешний IP сразу после включения прокси и останавливайте задачу, если маршрут неверный
PHP-скрипт в Human Emulator с set_default_authorization и enable_proxy, в браузере открыт чекер Node Proxy, в панели отладки текущий прокси
Скрипт включает прокси, а в панели отладки виден текущий адрес

Шаг 4. Отключите прокси в конце

Если следующие скрипты в этой копии должны работать напрямую, завершите текущий вызовом $browser->disable_proxy("");. Иначе настройка останется за копией.

Свой адрес для каждой копии при параллельной работе

В справке прямо сказано: прокси устанавливается только для текущей копии браузера, и у каждой копии он может быть своим. На этом строится параллельная работа: первая копия берёт первую строку списка, вторая — вторую и так далее. Если адреса между копиями перемешиваются, сайты, которые запоминают, откуда пришёл посетитель, видят нестабильную картину.

Короткий шаблон:

// relays.txt: по одной строке на прокси, host:port;login;password
$pool = file("C:\\he-data\\relays.txt", FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);
$copyIndex = (int)getenv("HE_COPY_NO");   // собственный способ нумерации копий
$slot = $pool[$copyIndex % count($pool)];

if (!$browser->enable_proxy("", $slot)) {
    file_put_contents("C:\\he-data\\failed.log", $slot . PHP_EOL, FILE_APPEND);
    $app->quit();
}

Как нумеровать копии — решайте сами: переменная окружения, аргумент командной строки или порт, на котором слушает копия. Главное, чтобы схема была детерминированной и перезапущенная копия снова брала ту же строку. Если на каждом проходе нужен новый IP, проще взять ротационный шлюз: строка подключения та же, а выходной адрес меняет провайдер. Как работают такие шлюзы, мы рассказали в статье про ротационные прокси.

Три копии программы, каждая выходит в интернет через свой прокси-сервер
У каждой копии Human Emulator свой прокси, поэтому параллельные копии выходят с разных IP

Для длинных списков в Human Emulator есть вспомогательные объекты: proxycheker загружает адреса и отбирает рабочие, а proxyswitcher (с версии 7.0.4) выдаёт следующий элемент и умеет обновлять список из файла или по URL. Сигнатуры их методов от версии к версии меняются, поэтому сверяйтесь со справкой для своей сборки.

Какой протокол выбрать

Human Emulator понимает и HTTP-адреса, и SOCKS с приставкой socks://. Для автоматизации браузера HTTP — более надёжный выбор по умолчанию; SOCKS5 удобен, когда тот же прокси обслуживает и другие программы на компьютере. Работает ли авторизация через SOCKS в вашей сборке так же, проверьте сначала на одной копии. Чем протоколы отличаются, объясняет наше сравнение SOCKS5 и HTTP.

Ошибки и решения

СимптомВероятная причинаЧто сделать
enable_proxy возвращает falseОшибка в строке или формат не поддерживается версиейЗапишите host:port;login;password без пробелов и без схемы для HTTP
Внешний IP совпадает с вашимПрокси включён после открытия страниц или $recreate равен falseПеренесите вызов в начало, оставьте $recreate в true
Браузер спрашивает логинСборка старше 7.0.7 не читает логин из строкиОбновите программу или добавьте свой IP в белый список у провайдера
Таймауты во всех копияхПорт относится к другому протоколуУточните, HTTP это порт или SOCKS5
Две копии с одним IPЛогика нумерации выдаёт одинаковую строкуПишите в лог, какую строку взяла копия, и исправьте нумерацию

Использовать с умом

Human Emulator имитирует действия живого человека, поэтому подходит для проверки форм на своих проектах и сбора открытых данных в щадящем темпе. Прокси не отменяют правил сайтов: соблюдайте их условия, директивы robots и лимиты запросов и не используйте программу для массовой регистрации аккаунтов или рассылки спама. Похожая модель прокси у ZennoPoster — про его настройки для потоков читайте в нашей инструкции по ZennoPoster.

Частые вопросы о прокси в Human Emulator

Где настраивается прокси в Human Emulator?

Документированный способ — в скрипте: вызовите enable_proxy у объекта browser с пустым первым аргументом и строкой host:port до первого перехода на страницу. Настройка действует только для копии, которая выполнила вызов.

Как указать логин и пароль?

С версии 7.0.7 они записываются в ту же строку через точку с запятой: host:port;login;password. В старых сборках вместо этого используйте привязку по IP на стороне провайдера.

Поддерживает ли Human Emulator SOCKS5?

В справке есть пример SOCKS-адреса с приставкой socks://. Перед масштабированием проверьте авторизацию через SOCKS на одной копии: детали зависят от версии.

Можно ли дать каждой копии свой IP?

Да. Прокси привязан к текущей копии, поэтому назначьте каждой свою строку из списка и не меняйте это соответствие между перезапусками.

Как убедиться, что прокси работает?

Сразу после включения выведите $connection->get_real_ip() и сравните со своим адресом, затем откройте во встроенном браузере страницу проверки IP.

Финал //

Начните с 1 ГБ резидентных прокси или одного IP.

Выбрать прокси