Как использовать прокси в curl
Коротко: Для HTTP прокси используйте curl -x http://HOST:PORT -U LOGIN:PASSWORD URL, для SOCKS5 — socks5h://HOST:PORT. Параметр -U принимает пароль как есть. Чтобы охватить всю оболочку, задайте http_proxy, https_proxy или all_proxy, а если логин стоит внутри URL, закодируйте спецсимволы через процентное кодирование.
curl — самый быстрый способ проверить прокси, и работает он одинаково в macOS, Linux и Windows. Подставьте вместо четырёх плейсхолдеров значения одной строки из раздела Мои прокси в панели управления.
HTTP прокси
curl -x http://HOST:PORT -U LOGIN:PASSWORD https://example.com/
-x (длинная форма --proxy) задаёт прокси, а -U (--proxy-user) — логин. Пароль в -U
принимается как набран, поэтому кодировать его там не нужно. Оставляйте http:// в адресе
прокси, даже если страница открывается по HTTPS: схема говорит, как curl разговаривает с
прокси. Добавьте -I, чтобы вывести только заголовки, или -v, чтобы увидеть, как открывается туннель.
SOCKS5 прокси
Сначала переключите заказ кнопкой Изменить протокол и снова скопируйте данные. Затем:
curl -x socks5h://HOST:PORT -U LOGIN:PASSWORD https://example.com/
Буква h заставляет прокси самому разрешать имя хоста. То же делает более старый параметр
--socks5-hostname HOST:PORT. Протокол описан на странице SOCKS5 прокси.
Логин внутри URL
Логин можно записать прямо в адрес прокси:
curl -x http://LOGIN:PASSWORD@HOST:PORT https://example.com/
Символы, имеющие в URL особое значение, тогда нужно закодировать: @ превращается в %40,
: — в %3A, / — в %2F, # — в %23, а % — в %25. Незакодированный пароль обрезается
на первом таком символе, и прокси отвечает 407.
Переменные окружения
Чтобы охватить каждую команду curl в текущей оболочке:
export http_proxy="http://LOGIN:PASSWORD@HOST:PORT"
export https_proxy="http://LOGIN:PASSWORD@HOST:PORT"
В PowerShell то же выглядит так:
$env:http_proxy = "http://LOGIN:PASSWORD@HOST:PORT"
$env:https_proxy = "http://LOGIN:PASSWORD@HOST:PORT"
Значение берите в кавычки; пароль со спецсимволами оболочки вроде $, & или ! тоже нужно
заключить в кавычки или экранировать, а в POSIX оболочке надёжнее всего одинарные.
all_proxy задаёт один прокси для всех протоколов, а no_proxy перечисляет хосты, которые его
обходят. Для http_proxy используйте имя в нижнем регистре, потому что curl игнорирует
вариант в верхнем для обычного HTTP. Убрать переменные можно командой unset http_proxy https_proxy.
Данные видны в истории команд оболочки и в списке процессов, поэтому на общем компьютере так
делать не стоит.
Какую форму выбрать
Для одного запроса и для скриптов берите -x и -U: они не трогают вашу оболочку. URL-форма
подходит, когда инструмент принимает только одну строку с прокси. Переменные окружения нужны,
когда вы какое-то время работаете в оболочке и хотите, чтобы каждый вызов curl шёл одним и тем же
маршрутом. В скрипте лучше задавать переменные внутри самого скрипта, а не экспортировать их глобально.
Прочитайте результат
Ответ 200 или редирект означает, что прокси принял вход. Ответ 407 означает, что нет:
ошибка прокси 407 перечисляет, что проверить, а
сбой аутентификации прокси разбирает режим со списком разрешённых IP.
Чтобы подтвердить адрес выхода, откройте через прокси страницу
«Какой у меня IP-адрес?» или вставьте прокси в нашу
проверку прокси: она делает тот же запрос без терминала. Тот же прокси в коде описан на странице
Python requests, а заказы и цены — на странице
ISP прокси.
