アジアのEコマース価格監視用プロキシ

価格監視でプロキシの国が重要な理由は？

プロキシの国が重要なのは、アジアのマーケットプレイスが場所ごとに異なる価格、通貨、在庫、配送料を表示するためです。ShopeeやLazadaは国ごとに別サイトを運営しています。Shopeeベトナムの価格はベトナムの訪問者にのみ正しく表示されます。

都市も重要です。RakutenやFlipkartの配送料や配達日が都市によって変わることがあります。AsiaProxiesはアジア太平洋地域のプロキシプロバイダーで、日本、韓国、インド、インドネシア、ベトナム、フィリピン、タイ、シンガポール、オーストラリアのレジデンシャルプロキシと4Gモバイルプロキシを提供し、KYC不要で暗号通貨決済に対応しています。

価格監視にはレジデンシャルプロキシとモバイルプロキシのどちらを使うべき？

ほとんどの価格監視にはレジデンシャルプロキシを使いましょう。GBあたりのコストが低く、アジア太平洋全域をカバーし、リクエストごとにIPがローテーションされます。検索結果のページ送りなど、同じIPが必要なページフローにはスティッキーセッション（最大60分）を使ってください。

データがアプリ内のみで表示される場合や、モバイル限定のプロモーションをチェックする場合はモバイルプロキシを使います。専用の4G/5Gポートは$3/日から、KYC不要のトラフィック無制限で利用可能です。ローテーションするモバイルデータは$0.90/GBからです。

マーケットプレイスの価格を丁寧に監視するには？

丁寧な監視とは、公開データのみをゆっくり取得し、各サイトのルールを守ることです。以下のルールを守ってください：

• まず公式APIを確認する。 例えばShopeeのOpen Platformは販売者向けAPIを提供しています。
• 各マーケットプレイスの利用規約とrobots.txtを読み、遵守する。
• 公開されている商品データのみ収集する：価格、在庫、配送料、販売者名。 ログインせず、レビュアープロフィールなどの個人情報は収集しない。
• リクエスト頻度を低く保つ。 1サイトあたり数秒に1回のリクエストから始め、同時接続数も少なくする。
• 結果をキャッシュし、レポートに必要な頻度でのみ商品を取得する。
• HTTP 429やCAPTCHAが出たら速度を落とすか停止する。 回避しようとしない。

当社のacceptable use policyではスカルピング、ボーナス悪用、アカウントファーミング、禁止回避を禁止しています。

国別IPで価格チェックを送るには？

ターゲット国をプロキシのユーザー名に入れ、遅延を加え、各サイトのrobots.txtをチェックしてください。以下の例はPythonと当社のゲートウェイを使っています。例のURLは取得許可のある公開商品ページに置き換えてください。クライアントの完全な設定はsetup guideにあります。

import time, random, requests
from urllib import robotparser
from urllib.parse import urlparse

# Username format: USERNAME-country-{cc}-city-{city}-session-{id}-ttl-{minutes}
USER = "USERNAME-country-id-city-jakarta-session-price01-ttl-10"
PROXY = f"http://{USER}:[email protected]:7777"
PROXIES = {"http": PROXY, "https": PROXY}
HEADERS = {"User-Agent": "PriceMonitor/1.0 (contact: [email protected])"}

def allowed(url):
    root = "{0.scheme}://{0.netloc}".format(urlparse(url))
    rp = robotparser.RobotFileParser(root + "/robots.txt")
    rp.read()
    return rp.can_fetch(HEADERS["User-Agent"], url)

urls = ["https://shop.example/item/1001", "https://shop.example/item/1002"]
for url in urls:
    if not allowed(url):
        print("skip (robots.txt):", url)
        continue
    r = requests.get(url, proxies=PROXIES, headers=HEADERS, timeout=30)
    if r.status_code == 429:
        print("rate limited, stopping")
        break
    print(url, r.status_code, len(r.content))
    time.sleep(random.uniform(3, 6))  # polite delay per request

価格監視はどれくらいのトラフィックを使用しますか？

トラフィックはページサイズと取得するページ数によります。まず1つの商品ページを計測し、それを掛け算してください。例えば、ページの平均サイズが200 KBの場合、10,000ページの読み込みで約2 GBのトラフィックになります。

HTMLまたは商品データのエンドポイントのみをリクエストし、画像をスキップすることでトラフィックを削減できます。レジデンシャルプロキシのトラフィックは無期限なので、10 GBの$6.60パックは多くの監視サイクルに耐えられます。各プランは価格ページ]でご確認ください。