Моніторинг цін за ринками: одна статична IP на країну
Зміст

- Чому той самий товар коштує по-різному на різних ринках?
- Навіщо тримати одну фіксовану адресу на ринок?
- Статичний резидентний проксі для моніторингу цін: що перевірити
- Який вигляд має простий порядок моніторингу?
- Як залишатися в межах правил сайту?
- Скільки адрес потрібно?
- Коли проксі не підходить для моніторингу цін?
- Короткі відповіді
Коротко: Моніторинг цін за ринками означає запис публічної ціни, яку магазин показує в кожній країні, за сталим графіком. Той самий товар може відрізнятися валютою, показом податку, наявністю і місцевими акціями. Щоб прогони можна було порівнювати, перевіряйте кожен ринок з однієї статичної адреси в цій країні, записуйте ціну, валюту, податок, наявність, час і використану адресу та тримайтеся умов сайту, його robots.txt і помірної частоти.
Моніторинг цін за ринками це звичка записувати, скільки коштує товар у кожній країні, де його продають, прогін за прогоном, щоб зміна в записі була зміною в магазині. Ця стаття про те, як перевіряти публічні ціни зсередини кожного ринку, з однієї фіксованої адреси на країну і в темпі, який допускає сайт. ProxyJam продає статичні резидентні (ISP) проксі, той вид адреси, який тут потрібен, а ширше завдання перевірки сторінок за країнами описано на нашій сторінці тестування за регіонами. Наша редакційна політика пояснює, звідки беруться дані в таких статтях і як їх виправляють.
Чому той самий товар коштує по-різному на різних ринках?
Бо магазин призначає ціни для кожного ринку, а на кордоні змінюється одразу кілька речей. Платформи електронної комерції мають це вбудованим. Довідка Shopify описує ціни за країною чи регіоном, відсоткові поправки для ринку й округлення після перерахунку валюти, а також каталоги, які вирішують, які товари ринок узагалі може купити. Найчастіше трапляються чотири відмінності.
- Валюта. Суму перераховують або задають для кожного ринку, і округлення може звести її до місцевого закінчення ціни. Знак долара не каже, який це долар: ним користуються австралійські, канадські й американські ціни. ISO 4217 дає кожній валюті трилітерний код, наприклад USD або CAD, і саме цей код має потрапити в запис.
- Податок у показаній ціні. У ЄС ціна, яку бачить споживач, за директивою про зазначення цін є «кінцевою ціною за одиницю товару або за певну кількість товару, що містить ПДВ і всі інші податки» (переклад наш). У США податок із продажу зазвичай додають під час оформлення замовлення. Правила Google Merchant Center дотримуються того самого поділу: для США й Канади податок у передану ціну не входить, для більшості інших країн ПДВ або GST включено. Поставте поруч німецьку й американську ціну в тому вигляді, у якому їх показано, і ви порівняєте суму з податком із сумою без нього.
- Наявність. Товар, розмір або тариф може пропонуватися на одному ринку і бути відсутнім на іншому, або пропонуватися, але закінчитися. Це різні факти, тому в записі їм потрібні різні значення.
- Акції. Розпродажі йдуть за ринками і за датами. У ЄС директива Omnibus вимагає, щоб оголошене зниження показувало попередню ціну, яку вона визначає як найнижчу, що її продавець застосовував за період щонайменше 30 днів до зниження. Тому закреслена ціна на сторінці в ЄС несе відомості, яких на американській сторінці може й не бути.
Таблиця «Чому в одного товару різні ціни» зіставляє кожній відмінності поле, яке її фіксує. Як сайт визначає, на якому ринку перебуває відвідувач, і які ще сигнали він читає, розібрано в статті як переглянути свій сайт з іншої країни.
Навіщо тримати одну фіксовану адресу на ринок?
Порівнянню потрібно, щоб за раз змінювалося щось одне. Якщо в понеділок прогін прийшов до магазину з однієї мережі, а в четвер з іншої, нова ціна може бути справою магазину або того, як магазин поставився до другої адреси, і запис не скаже, що саме. Одна статична адреса на країну тримає точку огляду незмінною, тож різниця між двома прогонами вказує на магазин. Утримання однієї адреси й вибірку з пулу порівнює стаття ISP проксі проти резидентних.
Має значення і тип мережі. Деякі сайти поводяться з адресами хостингових мереж інакше, ніж із домашніми підключеннями, тому перевірка з хостингового діапазону може показати сторінку, якої жоден покупець на цьому ринку не побачить. ISP проксі це адреса, яку анонсує мережа інтернет-провайдера і яку обслуговують із дата-центру, у мережі того самого типу, що й у місцевого покупця.
Фіксована адреса все одно може зсунутися: бази геолокації оновлюються, і адресу можуть записати за іншою країною. Перед кожним прогоном відкривайте What Is My IP через проксі. Якщо адреса більше не визначається в купленій країні, прогін із неї до записів додавати не варто. Адресу не замінюють протягом оплаченого періоду (розділ 2.5 Умов надання послуг).
Статичний резидентний проксі для моніторингу цін: що перевірити
Статична резидентна адреса лежить в основі цього порядку, тож перевірте її в перший день. Платежі остаточні, а Політика повернення коштів (розділ 1) повертає IP на баланс лише за дефект, про який повідомлено протягом 24 годин після оплати. Для статичної адреси це швидкість нижче 2 Мбіт/с, відмова у з’єднанні та Fraud Score від 75 в нашому IP-чекері. За цю добу вміщаються чотири перевірки.
- Країна. Відкрийте What Is My IP через проксі й порівняйте країну з ринком, який ви купили. Країну адреси ми визначаємо за MaxMind. Інша база геолокації може розмістити ту саму адресу деінде, і Політика повернення коштів не вважає це дефектом (розділ 2), тож зафіксуйте й країну, яку магазин показує на першій сторінці.
- Мережа. Оператор, названий у замовленні, є мережею, що анонсує адресу. Порівняйте ASN із цим оператором, як покроково описує стаття як перевірити, чи є IP резидентним.
- З’єднання. Підключайтеся з логіном і паролем, які показує замовлення, або зі свого IP зі списку дозволених; способи автентифікації проксі порівнюють ці два варіанти. Запустіть тест швидкості через проксі й збережіть скриншот: без нього скаргу на швидкість не підтвердити.
- Перша відповідь магазину. Завантажте одну сторінку товару з налаштувань цього ринку. Блокування з боку цільового сайту не є дефектом, що підлягає поверненню (розділ 2), а побачити його в перший день означає, що перш ніж будувати розклад, варто попросити в цього магазину фід.
Коли адреса пройшла перевірку, вона може нести запис ринку, поки ви її тримаєте: продовження замовлення лишає ту саму адресу (Умови надання послуг, розділ 2.5).
Який вигляд має простий порядок моніторингу?
Виберіть товари, виберіть ринки, закріпіть графік і записуйте кожен прогін однаково. Кроки наведено в блоці «Один прогін моніторингу, ринок за ринком», поля в блоці «Поля одного запису». Три звички роблять записи порівнянними.
- Налаштування кожного ринку не змінюється. Один профіль браузера або одне налаштування скрипта на країну, з мовою цього ринку, без збережених cookie і з адресою цього ринку. Регіон чи валюта, збережені в cookie, можуть переважити адресу.
- Спершу значення, перерахунок потім. Записуйте ціну точно так, як її показано, з кодом валюти й позначкою, чи містить вона податок. Перерахунок в одну валюту і вирахування податку йдуть в окремі стовпці, поруч із курсом і його датою, щоб вихідний запис ніколи не змінювався.
- Три стани наявності. Є в наявності, немає в наявності й не пропонується на ринку: це різні знахідки. Порожня клітинка приховує, яка з них була.
Спершу порівнюйте кожен запис із попереднім прогоном того самого ринку. Порівняння двох ринків між собою йде пізніше, коли перераховані стовпці вже є.
Як залишатися в межах правил сайту?
Перевіряйте публічні сторінки, у помірному темпі, у межах умов сайту та його robots.txt. Наша політика прийнятного використання називає цінову й ринкову аналітику серед сценаріїв, яким не потрібна попередня перевірка (розділ 2), і дозволяє бізнес-аналітику на інформації, до якої ви маєте законний доступ (розділ 1). Розділ 3 задає межу, яка тут найважливіша: публічна доступність даних сама по собі не дає права на скрейпінг чи автоматизований доступ, і ви зобов’язані дотримуватися правил сайту, договірних обмежень, обмежень частоти запитів і, там, де це застосовно за законом, його robots.txt.
- Лише публічні сторінки. Ціна, яку будь-який відвідувач на ринку бачить без входу в акаунт, є публічною. Магазин, який показує ціни відвідувачам на ринку, опублікував їх там. Магазин, який не пускає відвідувачів із вашої власної країни, запровадив обмеження, і розділ 5 політики забороняє доступ до сайту всупереч його регіональній доступності.
- Умови сайту. Умови сайту можуть забороняти або обмежувати автоматизований доступ. Прочитайте їх перед першим прогоном і щоразу, коли вони змінюються. Де вони забороняють скрипти, попросіть у магазину дозвіл або фід, який він публікує.
- robots.txt. Ці правила описано в RFC 9309, де сказано: «ці правила не є формою дозволу на доступ» (переклад наш). Шлях, відкритий у robots.txt, усе одно підпорядковується умовам сайту. Шлях, який він закриває, до автоматизованого прогону не входить. RFC також каже, що краулеру не слід користуватися кешованою копією довше 24 годин, тож скрипту варто перечитувати файл щодня.
- Частота. Підлаштовуйте графік під рішення: щотижневому перегляду цін потрібен щотижневий прогін, щоденному рішенню про ціну щоденний. Усередині прогону завантажуйте по одній сторінці за раз на кожен сайт. Сервер, який відповідає 429 Too Many Requests, обмежує частоту, і RFC 6585 дозволяє йому додати заголовок Retry-After, який каже, скільки чекати. Чекайте щонайменше стільки. Розкидати запити на більше адрес, щоб продовжувати, означало б порушувати обмеження частоти сайту, а це забороняє розділ 5.
Скільки адрес потрібно?
По одній на ринок. Єдиного числа для всіх програм немає, але його визначають три запитання.
- Скільки ринків? Кожній країні потрібна власна адреса в ній, тож трьом ринкам потрібні три адреси. Країни, які ми пропонуємо, наведено на сторінці локацій, зараз їх 76.
- Як часто? Частота не додає адрес. Щоденний і щогодинний прогони використовують ту саму адресу на ринок; змінюється лише кількість відвідувань.
- Скільки працює одночасно? Кілька людей або скриптів, що перевіряють один ринок, можуть ділити його адресу: кожна адреса тримає до 100 одночасних сесій незалежно від обсягу трафіку (Умови надання послуг, розділ 2.4). Порядок, за якого на кожен сайт завантажується одна сторінка за раз, займає одну сесію на сайт.
Адреси оплачуються за IP за період, як зазначено на сторінці цін, і кожна залишається вашою на оплачений період, тож точка огляду ринку не змінюється від першого прогону до останнього.
Коли проксі не підходить для моніторингу цін?
- Ціни за містами. Каталог продається за країнами, тому різниця між двома містами лежить поза тим, що він може показати.
- Ціни, прив’язані до покупця. Ціна, яка залежить від картки лояльності, кошика чи минулих замовлень, персональна, і перевірка без входу побачить публічну.
- Багато незалежних вибірок одночасно. Щоб перевірити, чи показує сайт різні ціни багатьом різним відвідувачам, потрібно багато адрес паралельно. Це завдання ротаційного пулу, а ротаційних адрес ми поки не продаємо.
- Увесь каталог на швидкості. Зібрати всі ціни великого ритейлера за короткий час: це питання до самого ритейлера. Попросіть фід даних або ліцензію; адреса на це питання не відповідає.
Для ринку в США сторінка ISP проксі у США перелічує кожного названого оператора, а весь каталог розміщено на сторінці ISP проксі. Почніть з однієї адреси на кожен ринок, який відстежуєте, і додавайте ринки в міру того, як росте список.
