Tangiblee のウェブクロールはどのように機能しますか?
ウェブクローラー(ウェブスパイダーまたはウェブロボットとも呼ばれます)は、ワールドワイドウェブを系統的かつ自動化された方法で閲覧するプログラムまたは自動スクリプトです。
TangibleeがWebサイトから製品データを収集するために推奨している方法は、当社のWebクローラーを使用することです。。 Tangibleeのクローラーは、単一訪問者のアクティビティをシミュレートして、ウェブサイトの中断やパフォーマンスの問題を防ぐように設計されています。
クローラーの仕組み:
- ボットは、15分ごとから1日1回まで、合意された頻度で定期的にクロールすることにより、Webサイトからデータを「スクレイピング」します。
- クローラーは、形式(テキスト、数値、単位など)やページ内の場所に関係なく、各PDPからのディメンションデータを自動的に解析します。
- クローラーは商品画像を確認し、解像度と撮影角度が最も高く、商品を最もよく映し出すものを選択します。
ご注意:
- クロールは、実際の Tangiblee UX を表示するために使用されるウェブページの JS スニペットとは完全に切り離して実行されます。ページを読み込んで JS スニペットを実行しても、情報がクロールされることはありません。
- 小売業者の Web サイトの各クロールジョブは 1 日に 1 回作成されます。このパラメーターを変更して、より高度なクロールが必要な場合は 15 分ごとに 1 つ作成することができます。
- クロールジョブが作成されると、プラットフォームのクロールキューに追加され、FIFO(先入れ先出し)として実行されます。ほとんどの場合、ジョブを実行できるワーカーがいるため、ジョブはすぐに開始されます。
- 必要に応じて、特定のクロールジョブの実行中のページリクエストの頻度を制御できる追加のパラメーターがあります。
Tangiblee が私のウェブサイトをクロールし始めるには何が必要ですか?
Webサイトに設定されているセキュリティプロトコルにもよりますが、Tangibleeは通常、Webサイトのクロールを開始するためにユーザーからの何も必要としません。
ウェブサイトのセキュリティプロトコルが「ボット」トラフィックを特に制限している場合はどうなりますか?
Tangibleeは、お客様のWebサイトにホワイトリストに登録するためのIPアドレスを提供します。Tangiblee の IP アドレスをホワイトリストに登録すると、「ブラックボット」トラフィックのセキュリティプロトコルを維持しながら、Tangiblee のクロールボットにのみアクセスできるようになります。
ホワイトリスティングのクローラー情報は次のとおりです。
ユーザーエージェント:タンジブル電子ボット/1.0.0 (http://tangiblee.com/bot)
[.good] Tangibleeは、Webサイトの元のソースファイルへのアクセスを必要としたり、アクセスを要求したりすることはありません。このクローラーは読み込み時間に影響を与えず、ウェブサイトやパフォーマンスに脆弱性をもたらすこともありません。[.good]
ウェブサイトをクロールする際、Tangibleeは何を収集しますか?
- 商品 SKU #
- 商品タイトル
- プロダクト URL
- カテゴリー URL
- 商品画像の URL
Tangibleeは、どの商品画像を選択すればよいかをどうやって判断するのでしょうか?
Tangibleeは、Webサイトをクロールする際に、当社のソリューションで機能する特定の画像を識別できます。
Tangibleeにウェブサイトのクロールを許可しない場合はどうなりますか?
クロールは Tangiblee が推奨する方法ですが、Tangiblee にウェブサイトをクロールさせたくない場合は、選択肢を検討してください。 ここ。