Сменить язык
Русский English Deutsch Español Français Italiano Українська Tiếng Việt Türkçe Bahasa Indonesia हिन्दी 日本語 Português 中文
Меню
Цены
Прокси
ТИПЫ ПРОКСИ
Решения
Ресурсы

Мониторинг цен по рынкам: один статический IP на страну

Пересказать с ИИ ChatGPT Perplexity Claude Grok Google AI Mode
Содержание
  1. Почему один и тот же товар стоит по-разному на разных рынках?
  2. Зачем держать один фиксированный адрес на рынок?
  3. Статический резидентный прокси для мониторинга цен: что проверить
  4. Как выглядит простой порядок мониторинга?
  5. Как оставаться в рамках правил сайта?
  6. Сколько адресов нужно?
  7. Когда прокси не подходит для мониторинга цен?
  8. Короткие ответы

Коротко: Мониторинг цен по рынкам означает запись публичной цены, которую магазин показывает в каждой стране, по постоянному расписанию. Один и тот же товар может отличаться валютой, показом налога, наличием и местными акциями. Чтобы прогоны можно было сравнивать, проверяйте каждый рынок с одного статического адреса в этой стране, записывайте цену, валюту, налог, наличие, время и использованный адрес и держитесь условий сайта, его robots.txt и умеренной частоты.

Мониторинг цен по рынкам это привычка записывать, сколько стоит товар в каждой стране, где он продаётся, прогон за прогоном, чтобы изменение в записи было изменением в магазине. Эта статья о том, как проверять публичные цены изнутри каждого рынка, с одного фиксированного адреса на страну и в темпе, который допускает сайт. ProxyJam продаёт статические резидентные (ISP) прокси, тот вид адреса, который здесь нужен, а более широкая задача проверки страниц по странам описана на нашей странице о тестировании по регионам. Наша редакционная политика объясняет, откуда берутся данные в таких статьях и как они исправляются.

Почему один и тот же товар стоит по-разному на разных рынках?

Потому что магазин назначает цены для каждого рынка, и на границе меняется сразу несколько вещей. Платформы электронной коммерции заложили это в себя. Справка Shopify описывает цены по стране или региону, процентные поправки для рынка и округление после пересчёта валюты, а также каталоги, которые решают, какие товары рынок вообще может купить. Чаще всего встречаются четыре различия.

  • Валюта. Сумма пересчитывается или задаётся для каждого рынка, и округление может привести её к местному окончанию цены. Знак доллара не говорит, какой это доллар: им пользуются австралийские, канадские и американские цены. ISO 4217 даёт каждой валюте трёхбуквенный код, например USD или CAD, и именно этот код должен попасть в запись.
  • Налог в показанной цене. В ЕС цена, которую видит потребитель, по директиве об указании цен есть «конечная цена за единицу товара или за данное количество товара, включая НДС и все прочие налоги» (перевод наш). В США налог с продаж обычно добавляется при оформлении заказа. Правила Google Merchant Center следуют тому же делению: для США и Канады налог в переданную цену не включается, для большинства других стран НДС или GST включены. Поставьте рядом немецкую и американскую цену в том виде, в каком они показаны, и вы сравните сумму с налогом с суммой без него.
  • Наличие. Товар, размер или тариф может предлагаться на одном рынке и отсутствовать на другом, или предлагаться, но закончиться. Это разные факты, поэтому в записи им нужны разные значения.
  • Акции. Распродажи идут по рынкам и по датам. В ЕС директива Omnibus требует, чтобы объявленное снижение показывало прежнюю цену, которую она определяет как самую низкую, применённую продавцом за период не короче 30 дней до снижения. Поэтому зачёркнутая цена на странице в ЕС несёт сведения, которых на американской странице может и не быть.

Таблица «Почему у одного товара разные цены» сопоставляет каждому различию поле, которое его фиксирует. Как сайт определяет, на каком рынке находится посетитель, и какие ещё сигналы он читает, разобрано в статье как посмотреть свой сайт из другой страны.

Зачем держать один фиксированный адрес на рынок?

Сравнению нужно, чтобы за раз менялось что-то одно. Если в понедельник прогон пришёл в магазин из одной сети, а в четверг из другой, новая цена может быть делом магазина или того, как магазин отнёсся ко второму адресу, и запись не скажет, что именно. Один статический адрес на страну держит точку обзора неизменной, и разница между двумя прогонами указывает на магазин. Удержание одного адреса и выборка из пула сравниваются в статье ISP прокси против резидентных.

Важен и тип сети. Некоторые сайты обращаются с адресами хостинговых сетей иначе, чем с домашними подключениями, поэтому проверка с хостингового диапазона может показать страницу, которую ни один покупатель на этом рынке не увидит. ISP прокси это адрес, который анонсирует сеть интернет-провайдера и который обслуживается из дата-центра, в сети того же типа, что и у местного покупателя.

Фиксированный адрес всё равно может сместиться: базы геолокации обновляются, и адрес могут записать за другой страной. Перед каждым прогоном открывайте What Is My IP через прокси. Если адрес больше не определяется в купленной стране, прогон с него в записи оставлять не стоит. Адрес не заменяется в течение оплаченного периода (раздел 2.5 Условий обслуживания).

Статический резидентный прокси для мониторинга цен: что проверить

Статический резидентный прокси: адрес, на котором держится весь этот порядок, поэтому проверьте его в первый же день. Платежи окончательные, а Политика возврата средств (раздел 1) возвращает IP на баланс только при дефекте, о котором сообщили в течение 24 часов после оплаты. Для статического адреса это скорость ниже 2 Мбит/с, отказ в соединении и Fraud Score 75 и выше в нашем IP-чекере. В этот день помещаются четыре проверки.

  • Страна. Откройте What Is My IP через прокси и сравните страну с рынком, который вы купили. Страну адреса мы определяем по MaxMind. Другая база геолокации может поместить тот же адрес в другое место, и Политика возврата не считает это дефектом (раздел 2), поэтому заодно запишите страну, которую показывает сам магазин на первой странице.
  • Сеть. Оператор, названный в заказе, это сеть, которая анонсирует адрес. Сверьте ASN с этим оператором, как пошагово разбирает статья как проверить, резидентный ли IP.
  • Соединение. Подключайтесь с логином и паролем из заказа или с вашего IP из списка разрешённых; способы аутентификации прокси сравнивают оба варианта. Прогоните тест скорости через прокси и сохраните скриншот: без него заявку по скорости не подтвердить.
  • Первый ответ магазина. Загрузите одну страницу товара из настроек этого рынка. Блокировка со стороны целевого сайта не считается дефектом, по которому возвращают деньги (раздел 2), а увидеть её в первый день значит, что фид стоит запросить у самого магазина, прежде чем строить расписание.

Когда адрес прошёл проверки, он может вести запись рынка так долго, как вы его держите: продление заказа сохраняет тот же адрес (Условия использования, раздел 2.5).

Как выглядит простой порядок мониторинга?

Выберите товары, выберите рынки, закрепите расписание и записывайте каждый прогон одинаково. Шаги перечислены в блоке «Один прогон мониторинга, рынок за рынком», поля в блоке «Поля одной записи». Три привычки делают записи сравнимыми.

  1. Настройка каждого рынка не меняется. Один профиль браузера или одна настройка скрипта на страну, с языком этого рынка, без сохранённых cookie и с адресом этого рынка. Регион или валюта, сохранённые в cookie, могут перевесить адрес.
  2. Сначала значения, пересчёт потом. Записывайте цену ровно так, как она показана, с кодом валюты и пометкой, включён ли налог. Пересчёт в одну валюту и вычет налога идут в отдельные столбцы, рядом с курсом и его датой, чтобы исходная запись никогда не менялась.
  3. Три состояния наличия. В наличии, нет в наличии и не предлагается на рынке: это разные находки. Пустая ячейка скрывает, какая из них была.

Сначала сравнивайте каждую запись с предыдущим прогоном того же рынка. Сравнение двух рынков между собой идёт позже, когда пересчитанные столбцы уже есть.

Как оставаться в рамках правил сайта?

Проверяйте публичные страницы, в умеренном темпе, в рамках условий сайта и его robots.txt. Наша политика допустимого использования называет ценовую и рыночную аналитику среди сценариев, которым не нужна предварительная проверка (раздел 2), и разрешает бизнес-аналитику на информации, к которой у вас есть законный доступ (раздел 1). Раздел 3 задаёт границу, которая здесь важнее всего: публичная доступность данных сама по себе не даёт права на скрапинг или автоматический доступ, и вы обязаны соблюдать правила сайта, договорные ограничения, ограничения частоты запросов и, там, где это применимо по закону, его robots.txt.

  • Только публичные страницы. Цена, которую любой посетитель на рынке видит без входа в аккаунт, публична. Магазин, который показывает цены посетителям на рынке, опубликовал их там. Магазин, который не пускает посетителей из вашей собственной страны, ввёл ограничение, и раздел 5 политики запрещает доступ к сайту в нарушение его региональной доступности.
  • Условия сайта. Условия сайта могут запрещать или ограничивать автоматический доступ. Прочитайте их перед первым прогоном и при каждом изменении. Где они запрещают скрипты, попросите у магазина разрешение или фид, который он публикует.
  • robots.txt. Эти правила описаны в RFC 9309, где сказано: «эти правила не являются формой разрешения на доступ» (перевод наш). Путь, открытый в robots.txt, по-прежнему подчиняется условиям сайта. Путь, который он закрывает, в автоматический прогон не входит. RFC также говорит, что краулеру не следует пользоваться кешированной копией дольше 24 часов, поэтому скрипту стоит перечитывать файл каждый день.
  • Частота. Подстраивайте расписание под решение: еженедельному пересмотру цен нужен еженедельный прогон, ежедневному решению о цене ежедневный. Внутри прогона загружайте по одной странице за раз на каждый сайт. Сервер, который отвечает 429 Too Many Requests, ограничивает частоту, и RFC 6585 позволяет ему добавить заголовок Retry-After с указанием, сколько ждать. Ждите как минимум столько. Разносить запросы по большему числу адресов, чтобы продолжать, значило бы нарушать ограничение частоты сайта, а это запрещает раздел 5.

Сколько адресов нужно?

По одному на рынок. Единого числа для всех программ нет, но его определяют три вопроса.

  • Сколько рынков? Каждой стране нужен свой адрес в ней, так что трём рынкам нужны три адреса. Страны, которые мы предлагаем, перечислены на странице локаций, сейчас их 76.
  • Как часто? Частота не добавляет адресов. Ежедневный и ежечасный прогоны используют один и тот же адрес на рынок; меняется только число посещений.
  • Сколько работает одновременно? Несколько человек или скриптов, проверяющих один рынок, могут делить его адрес: каждый адрес держит до 100 одновременных сессий при любом объёме трафика (Условия использования, раздел 2.4). Порядок, при котором на каждый сайт загружается одна страница за раз, занимает одну сессию на сайт.

Адреса оплачиваются за IP за период, как указано на странице цен, и каждый остаётся вашим на оплаченный период, так что точка обзора рынка не меняется от первого прогона до последнего.

Когда прокси не подходит для мониторинга цен?

  • Цены по городам. Каталог продаётся по странам, поэтому разница между двумя городами лежит за пределами того, что он может показать.
  • Цены, привязанные к покупателю. Цена, которая зависит от карты лояльности, корзины или прошлых заказов, персональна, и проверка без входа увидит публичную.
  • Много независимых выборок сразу. Чтобы проверить, показывает ли сайт разные цены множеству разных посетителей, нужно много адресов параллельно. Это задача ротационного пула, а ротационные адреса мы пока не продаём.
  • Весь каталог на скорости. Собрать все цены крупного ритейлера за короткое время: это вопрос к самому ритейлеру. Попросите фид данных или лицензию; адрес на этот вопрос не отвечает.

Для рынка в США страница ISP прокси в США перечисляет каждого названного оператора, а весь каталог находится на странице ISP прокси. Начните с одного адреса на каждый рынок, который отслеживаете, и добавляйте рынки по мере роста списка.

Почему у одного товара разные цены

Строки опираются на справку Shopify, правила цен Google Merchant Center, директивы ЕС об указании цен и Omnibus и стандарт ISO 4217, все они перечислены в источниках. Что из этого использует конкретный магазин, зависит от магазина; ни один магазин мы не измеряли.
Что меняется между рынкамиЧто записывать
ВалютаСумма задаётся или пересчитывается для каждого рынка и часто округляется до местного окончания ценыКод ISO 4217 рядом с суммой, потому что один символ может обозначать несколько валют
Налог в показанной ценеВ ЕС цены для потребителей включают НДС; в США и Канаде налог обычно добавляется при оформлении заказаВключён ли налог в показанную цену, как об этом сказано на странице
НаличиеТовар, размер или тариф может предлагаться на одном рынке и отсутствовать на другомВ наличии, нет в наличии или не предлагается, тремя отдельными значениями
АкцииРаспродажи и купоны идут по рынкам и по датам; в ЕС объявленное снижение показывает прежнюю ценуЦену со скидкой, показанную прежнюю цену и формулировку предложения
ВитринаМагазин может отправлять каждую страну на свой домен или в свой разделАдрес, который вы запросили, и конечный адрес после редиректов

Поля одной записи

Один прогон мониторинга, рынок за рынком

  1. Проверьте адрес

    Откройте What Is My IP через прокси этого рынка и запишите адрес, его страну и его сеть.

  2. Сверьтесь с правилами

    Перед первым прогоном и при каждом их изменении прочитайте условия сайта и его robots.txt. Исключите страницы, которые они закрывают для автоматического доступа.

  3. Загрузите страницу

    Откройте страницу товара из профиля браузера или настроек скрипта, отведённых под этот рынок, без входа в аккаунт, с языком рынка.

  4. Запишите поля

    Заполните все поля одной записи, включая те, что не изменились с прошлого раза.

  5. Перейдите к следующему рынку

    Повторите те же шаги с адресом и профилем того рынка, по одной странице за раз на каждый сайт.

  6. Сравнивайте сопоставимое

    Сначала сравнивайте каждую запись с предыдущим прогоном того же рынка, а рынки между собой сравнивайте только после приведения цен к одной валюте и одной базе налога.

Короткие ответы

Разрешён ли мониторинг цен через прокси?

По нашей политике допустимого использования, да, для цен, которые вы вправе видеть по закону. Ценовая и рыночная аналитика входит в сценарии, которым не нужна предварительная проверка (раздел 2), а бизнес-аналитика на информации, к которой у вас есть законный доступ, относится к разрешённым видам использования (раздел 1). Раздел 3 добавляет, что одна лишь публичная доступность не даёт права на скрапинг, а раздел 5 запрещает скрапинг без разрешения и доступ в нарушение ограничений частоты запросов, установленных сайтом. Собственные условия сайта действуют поверх наших. Политика допустимого использования

Как часто проверять цену?

Так часто, как этого требует решение, которое на ней основано. Еженедельному пересмотру цен нужен еженедельный прогон, ежедневному решению о цене ежедневный. Сайт, который отвечает 429 Too Many Requests, сообщил вам свой предел, а заголовок Retry-After говорит, сколько ждать.

Должен ли адрес меняться между прогонами?

Нет. Фиксированный адрес на каждый рынок убирает точку обзора из сравнения, и изменение между прогонами исходит от магазина. Смена адресов, чтобы отправить сайту больше запросов, чем допускает его предел, означает нарушение ограничения частоты, а его запрещает раздел 5 нашей политики допустимого использования. ISP или резидентные

Можно ли сравнивать цены в разных городах?

С ProxyJam нельзя. Каталог статических резидентных адресов продаётся по странам и названным провайдерам, и ни одно предложение в нём не привязано к городу или региону. Локации прокси

Нужен браузер или хватит скрипта?

Обычный запрос видит цену, записанную в HTML страницы. Для цены, которую скрипты подставляют после загрузки страницы, нужен браузер. Оба способа могут выходить через один и тот же адрес, поэтому их записи совпадают по условиям. Сайт из другой страны

Как быть с ценами, которые видны только после входа?

Оптовые и клубные цены лежат за пределами публичной проверки. Собирайте их только с аккаунтом, который выдал вам сам сайт, и на его условиях. Раздел 3 нашей политики допустимого использования относит договорные ограничения и средства контроля доступа к правилам, которые вы обязаны соблюдать.

Источники