Wie funktioniert das Web-Crawling von Tangiblee?

Ein Webcrawler (auch bekannt als Web Spider oder Web Robot) ist ein Programm oder automatisiertes Skript, das das World Wide Web auf methodische, automatisierte Weise durchsucht.

Die bevorzugte Methode von Tangiblee zum Sammeln von Produktdaten von Ihrer Website ist die Verwendung unseres Webcrawlers. Der Crawler von Tangiblee ist so konzipiert, dass er die Aktivität eines einzelnen Besuchers simuliert, um Störungen oder Leistungsprobleme mit Ihrer Website zu vermeiden.

So funktioniert der Crawler:

• Unser Bot „scrapt“ Daten von Ihrer Website, indem er regelmäßig in einer vereinbarten Häufigkeit crawlt, von alle 15 Minuten bis einmal täglich.
• Unser Crawler analysiert automatisch die Dimensionsdaten von jedem PDP, unabhängig von dessen Format (Text, Zahlen, Einheiten usw.) oder der Position auf der Seite.
• Der Crawler überprüft die Produktbilder und wählt das Bild mit der höchsten Auflösung und dem höchsten Aufnahmewinkel aus, das Ihr Produkt am besten zur Geltung bringt.

Bitte beachten Sie:

• Das Crawling läuft völlig unabhängig vom JS-Snippet auf den Webseiten, auf denen die eigentliche Tangiblee-UX angezeigt wird. Wir crawlen nicht nach Informationen, wenn wir eine Seite laden und unser JS-Snippet ausführen.
• Jeder Crawling-Job für die Website eines Einzelhändlers wird einmal täglich erstellt. Dieser Parameter kann so geändert werden, dass alle 15 Minuten einer erstellt wird, falls ein höheres Crawling erforderlich ist.
• Sobald ein Crawling-Job erstellt wurde, wird er der Crawling-Warteschlange unserer Plattform hinzugefügt und als FIFO ausgeführt — zuerst rein, zuerst raus. In den meisten Fällen wird der Job sofort gestartet, da normalerweise ein Mitarbeiter verfügbar ist, der den Job ausführt.
• Bei Bedarf gibt es zusätzliche Parameter, mit denen die Häufigkeit der Seitenanfragen gesteuert werden kann, während ein bestimmter Crawling-Job ausgeführt wird.

Was benötigt Tangiblee von mir, um mit dem Crawlen meiner Website zu beginnen?

Abhängig von den Sicherheitsprotokollen auf Ihrer Website benötigt Tangiblee in der Regel nichts von Ihnen, um mit dem Crawlen Ihrer Website zu beginnen.

Was ist, wenn die Sicherheitsprotokolle meiner Website den Bot-Traffic spezifisch einschränken?

Tangiblee stellt unsere IP-Adresse für die Whitelist auf Ihrer Website zur Verfügung. Wenn Sie die IP-Adresse von Tangiblee auf die Whitelist setzen, haben Sie nur Zugriff auf den Crawling-Bot von Tangiblee, während gleichzeitig das Sicherheitsprotokoll für den „Black-Bot“ -Verkehr beibehalten wird.

Hier sind unsere Crawler-Informationen für White-Listing:

Benutzeragent: TangibleeBot/1.0.0.0 (http://tangiblee.com/bot)

[.good] Tangiblee wird niemals Zugriff auf die ursprünglichen Quelldateien Ihrer Website benötigen oder anfordern. Dieser Crawler hat KEINEN Einfluss auf die Ladezeit und schafft auch keine Sicherheitslücken für Ihre Website oder deren Leistung. [.good]

Was sammelt Tangiblee beim Crawlen meiner Website?

• Produkt-SKU #
• Titel des Produkts
• Produkt-URL
• URL der Kategorie
• URL des Produktbildes

Woher weiß Tangiblee, welches Produktbild es auswählen muss?

Tangiblee kann beim Crawlen Ihrer Website das spezifische Bild identifizieren, das mit unserer Lösung funktioniert.

Was ist, wenn ich Tangiblee nicht erlaube, meine Website zu crawlen?

Crawling ist die bevorzugte Methode von Tangiblee. Wenn Sie jedoch möchten, dass Tangiblee Ihre Website nicht crawlt, erkunden Sie Ihre Optionen hier.