切换语言
中文 English Русский Deutsch Español Français Italiano Українська Tiếng Việt Türkçe Bahasa Indonesia हिन्दी 日本語 Português
菜单
价格
代理
代理类型
解决方案
资源

跨市场价格监测:每个国家一个静态 IP

目录
  1. 同一件商品为什么在不同市场价格不同?
  2. 为什么每个市场要保持一个固定地址?
  3. 用于价格监测的静态住宅代理:要检查什么
  4. 简单的监测流程是什么样的?
  5. 如何遵守网站的规则?
  6. 需要多少个地址?
  7. 什么时候代理不适合用来监测价格?
  8. 快速解答

简而言之: 跨市场价格监测,是按固定计划记录一家商店在每个国家显示的公开价格。同一件商品可能因币种、含税方式、供货情况和本地促销而价格不同。要让各次运行可以比较,请用位于该国的一个静态地址检查每个市场,记录价格、币种、税费、库存、时间和所用地址,并遵守网站的条款、它的 robots.txt 和适度的频率。

跨市场价格监测,是一次接一次地记录一件商品在其销售的每个国家卖多少钱,让记录里的变化就代表商店里的变化。本指南讲的是从每个市场内部、每个国家使用一个固定地址、以网站允许的节奏检查公开价格。ProxyJam 销售静态住宅(ISP)代理,也就是这项工作所用的那类地址;按国家逐一检查页面这项更大的工作,见我们的地区测试页面。我们的编辑方针说明了这类文章的来源如何选择、错误如何更正。

同一件商品为什么在不同市场价格不同?

因为商店按市场设定价格,而一跨过国界,好几件事都会变化。电商平台把这一点做成了功能。Shopify 的帮助页面介绍了按国家或地区设定价格、按市场进行百分比调整以及货币换算后的取整,还介绍了决定某个市场究竟能买到哪些商品的目录。最常见的差异有四种。

  • 币种。 金额按市场换算或设定,取整可能让它落到当地习惯的价格尾数上。单看美元符号,无法知道是哪种元:澳大利亚、加拿大和美国的价格都用它。ISO 4217 为每种货币分配了一个三字母代码,例如 USD 或 CAD,记录里应当写的就是这个代码。
  • 标价是否含税。 在欧盟,根据价格标示指令,向消费者显示的价格是“一个单位的商品或一定数量的商品的最终价格,包括增值税和所有其他税费”。在美国,销售税通常在结账时才加上。Google 的 Merchant Center 规则也采用同样的划分:美国和加拿大提交的价格不含税,其他大多数国家包含增值税或商品及服务税。把德国的价格和美国的价格按页面所示并排放在一起,比较的就是一个含税数字和一个不含税数字。
  • 供货情况。 某件商品、某个尺码或某个套餐可能在一个市场有售,在另一个市场没有,也可能有售但缺货。这些是不同的事实,所以在记录里需要不同的值。
  • 促销。 打折按市场、按日期进行。在欧盟,综合指令要求公布的降价显示此前价格,并把此前价格定义为降价前至少 30 天内商家实行过的最低价。因此,欧盟页面上划掉的价格所包含的信息,美国页面上可能没有。

表格“同一件商品为何有不同价格”把每种差异与记录它的字段对应起来。网站如何判断访客身处哪个市场、还会读取哪些其他信号,见从另一个国家查看您的网站。

为什么每个市场要保持一个固定地址?

比较时,一次只能有一件事发生变化。如果周一的运行从一个网络访问商店,周四的运行从另一个网络访问,那么新价格可能来自商店,也可能来自商店对待第二个地址的方式,而记录无法说明是哪一种。每个国家使用一个静态地址,观察点就保持不变,两次运行之间的差异便指向商店。保留一个地址与从地址池中取用地址的比较,见ISP 代理与住宅代理对比。

网络的类型同样重要。有些网站对托管网络上的地址与家庭宽带连接区别对待,所以从托管地址段发起的检查,可能看到该市场的购物者不会看到的页面。ISP 代理是由互联网服务商的网络宣告、从数据中心提供的地址,与当地购物者所用的是同一类网络。

固定地址也可能发生漂移:地理位置数据库会更新,一个地址可能被记录到另一个国家名下。每次运行之前,都请通过代理打开“我的 IP 是什么”。如果地址不再被定位到您所购买的市场,用它完成的那次运行不应归档。地址在您已付费的期间内不予更换(《服务条款》第 2.5 节)。

用于价格监测的静态住宅代理:要检查什么

静态住宅代理是这套流程所依赖的地址,所以第一天就要测试它。款项一经支付即为最终,《退款政策》(第 1 节)只对付款后 24 小时内报告的缺陷,把对应的 IP 退还到您的余额。对静态地址来说,这些缺陷是速度低于 2 Mbit/s、连接被拒绝,以及在我们的 IP 检测工具中 Fraud Score 为 75 或更高。这四项检查都能在当天完成。

  • 国家。 通过代理打开“我的 IP 是什么”,把显示的国家与您购买的市场对比。我们以 MaxMind 的数据确定一个地址所在的国家。其他地理位置数据库可能把同一个地址定位到别处,《退款政策》不把这种情况视为缺陷(第 2 节),所以也请记下商店在首页上显示的国家。
  • 网络。 订单上注明的运营商,就是宣告该地址的网络。请把 ASN 与该运营商对比,具体步骤见如何检查一个 IP 是否为住宅 IP。
  • 连接。 使用订单中显示的用户名和密码连接,或者从您自己已加入许可列表的 IP 连接;代理认证方式对这两种做了对比。通过代理做一次速度测试,并保留截图,因为速度方面的申报需要它。
  • 商店的第一次响应。 用该市场的设置加载一个商品页面。目标网站的拦截不属于可退款的缺陷(第 2 节),第一天就遇到拦截,说明在围绕它建立计划之前,应先向这家商店申请数据源。

地址通过检查后,只要您继续持有,它就能承载该市场的记录:续订订单会保留同一个地址(《服务条款》第 2.5 节)。

简单的监测流程是什么样的?

选定商品,选定市场,固定计划,每次运行都用同样的方式记录。步骤列在“一次监测运行,逐个市场进行”中,字段列在“一条记录的字段”中。有三个习惯能让记录保持可比。

  1. 固定每个市场的设置。 每个国家一个浏览器配置文件或脚本配置,使用该市场的语言,不保存 Cookie,并使用该市场的地址。保存在 Cookie 里的地区或币种,可能比地址的作用更大。
  2. 先记数值,后做换算。 按页面所示原样记录价格,连同币种代码以及是否含税。换算成同一币种和扣除税费放在单独的列里,旁边注明汇率及其日期,这样原始记录永远不会改动。
  3. 保留三种供货状态。 有货、缺货和该市场不提供,是三种不同的结论。空白的单元格会掩盖到底是哪一种。

先把每条记录与同一市场的上一次运行比较。两个市场之间的比较放在后面,等换算后的列准备好再做。

如何遵守网站的规则?

检查公开页面,保持适度的节奏,并遵守网站的条款和它的 robots.txt。我们的《可接受使用政策》把价格和市场情报列为无需事先审核的用途(第 2 节),并允许利用您被合法允许访问的信息进行商业情报分析(第 1 节)。对这项工作最重要的限制在第 3 节:数据公开本身并不授权抓取或自动访问,您必须遵守网站的规则、合同限制、速率限制,以及在法律适用时它的 robots.txt。

  • 只看公开页面。 该市场的任何访客无需登录就能看到的价格,就是公开价格。向某个市场的访客展示价格的商店,已经在那里公开了价格。拒绝来自您本国访客的商店,则设置了一项限制;政策第 5 节禁止违背网站的地区提供范围而访问它。
  • 网站的条款。 网站的条款可能禁止或限制自动访问。请在第一次运行之前以及条款每次变更时阅读。如果条款禁止脚本,请向商店申请许可,或询问它是否提供数据源。
  • robots.txt。 其规则由 RFC 9309 标准化,其中写道“这些规则不构成任何形式的访问授权”,所以 robots.txt 允许的路径仍然受条款约束。它禁止的路径不纳入脚本运行。该 RFC 还规定,爬虫使用缓存副本不应超过 24 小时,所以脚本应当每天重新读取这个文件。
  • 频率。 让计划与决策相匹配:每周一次的价格复盘每周运行一次,每天的调价决策每天运行一次。在一次运行中,每个网站一次只加载一个页面。返回 429 Too Many Requests 的服务器正在限制速率,RFC 6585 允许它附上 Retry-After 头,说明需要等待多久。请至少等待这么久。为了继续运行而把请求分散到更多地址上,就是违背网站的速率限制,第 5 节禁止这样做。

需要多少个地址?

每个市场一个。没有适用于所有项目的固定数量,但三个问题就能确定。

  • 有多少个市场? 每个国家都需要一个位于该国的地址,所以三个市场需要三个地址。我们提供的国家列在代理地区页面上,目前共 76 个。
  • 多久一次? 频率不会增加地址数量。每天运行和每小时运行,每个市场用的都是同一个地址,变化的只是访问次数。
  • 同时运行多少? 检查同一市场的多个人或多个脚本可以共用该市场的地址:每个地址最多支持 100 个并发会话,不随流量多少而变化(《服务条款》第 2.4 节)。每个网站一次只加载一个页面的流程,每个网站只占用一个会话。

地址按 IP 按周期计价,价格列在价格页面上。每个地址在您付费的期间内一直归您使用,因此一个市场的观察点从第一次运行到最后一次运行都保持不变。

什么时候代理不适合用来监测价格?

  • 按城市的价格。 目录按国家销售,所以两个城市之间的差异超出了它能显示的范围。
  • 与购物者绑定的价格。 取决于会员账户、购物车或过往订单的价格属于个人价格,未登录的检查看到的是公开价格。
  • 同时需要大量独立样本。 要测试一个网站是否向许多不同访客显示不同价格,需要并行使用许多地址,这是轮换代理池的工作,而我们目前还不销售轮换地址。
  • 快速抓取整个目录。 在短时间内收集一家大型零售商的全部价格,是需要与这家零售商商量的问题。请向它申请数据源或许可;一个地址解决不了这个问题。

对于美国市场,美国 ISP 代理页面列出了每家具名运营商,完整目录见ISP 代理页面。从您跟踪的每个市场一个地址开始,随着清单变长再增加市场。

同一件商品为何有不同价格

各行依据 Shopify 帮助中心、Google Merchant Center 的价格规则、欧盟价格标示指令和综合指令(Omnibus Directive)以及 ISO 4217,均列于参考来源。某家商店具体采用其中哪些做法,因店而异;我们没有测量过任何商店。
不同市场之间有什么变化要记录什么
币种金额按市场设定或换算,常常取整到当地习惯的价格尾数金额旁的 ISO 4217 代码,因为一个符号可能代表多种货币
标价是否含税欧盟面向消费者的价格包含增值税;美国和加拿大的价格通常在结账时才加税标价是否含税,以页面上的说明为准
供货情况某件商品、某个尺码或某个套餐可能在一个市场有售,在另一个市场没有有货、缺货或不提供,作为三个不同的值
促销打折和优惠券按市场、按日期进行;在欧盟,公布的降价会显示此前价格折扣价、页面显示的此前价格以及优惠的措辞
店面商店可能把每个国家引导到各自的域名或子目录您请求的地址,以及重定向后的最终地址

一条记录的字段

一次监测运行,逐个市场进行

  1. 确认地址

    通过该市场的代理打开“我的 IP 是什么”,记下地址、所在国家和所属网络。

  2. 查看规则

    在第一次运行之前,以及规则每次变更时,阅读网站的条款和它的 robots.txt。凡是它们不对自动访问开放的页面,一律不纳入。

  3. 加载页面

    从该市场专用的浏览器配置文件或脚本配置打开商品页面,保持未登录状态,并使用该市场的语言。

  4. 记录字段

    填写一条记录的每个字段,包括自上次以来没有变化的字段。

  5. 转到下一个市场

    用那个市场的地址和配置文件重复同样的步骤,每个网站一次只访问一个页面。

  6. 同类相比

    先把每条记录与同一市场的上一次运行比较;等价格统一到同一币种和同一含税口径之后,再比较不同市场。

快速解答

允许通过代理进行价格监测吗?

根据我们的可接受使用政策,对于您可以合法查看的价格,允许。价格和市场情报属于无需事先审核的用途(第 2 节),利用您被合法允许访问的信息进行商业情报分析属于允许的用途(第 1 节)。第 3 节补充说明,数据公开本身并不授权抓取;第 5 节禁止未经授权的抓取,以及违背网站速率限制的访问。在我们的政策之外,网站自身的条款同样适用。 可接受使用政策

价格应该多久检查一次?

与它所服务的决策同频即可。每周一次的价格复盘需要每周运行一次,每天的调价决策需要每天运行一次。网站返回 429 Too Many Requests,就是在告诉您它的上限,而 Retry-After 头会说明需要等待多久。

两次运行之间应该更换地址吗?

不应该。每个市场使用固定的地址,可以把观察点排除在比较之外,这样两次运行之间的变化就来自商店。为了向网站发送多于其上限所允许的请求而更换地址,就是违背网站的速率限制,我们的可接受使用政策第 5 节禁止这样做。 ISP 与住宅对比

可以比较不同城市的价格吗?

用 ProxyJam 做不到。静态住宅目录按国家和具名服务商销售,其中没有任何一项与某个城市或地区绑定。 代理地区

需要浏览器吗,还是脚本就够了?

普通请求就能看到写在页面 HTML 里的价格。页面加载后由脚本填入的价格则需要浏览器。两者都可以从同一个地址发出,因此它们的记录能够对得上。 从另一个国家查看

需要登录才能看到的价格怎么办?

批发价和会员价不在公开检查的范围内。只能使用网站给您的账户、并按照其条款来收集。我们的可接受使用政策第 3 节把合同限制和访问控制列为您必须遵守的规则。

参考来源