Hallo!

Dieser Crawler ist auf meiner Website momentan genauso aktiv wie Google.

http://www.cuill.com

Kennt den jemand?
Für wen crawlt dieser Dienst?

Gruß, Chris

Schau mal hier.

Wie es aussieht ist das ein Test-Robot (vielleicht für eine neue Suchmaschine, vielleicht auch nicht).

Bei mir ist der auch gerade sehr aktiv.

Außer Traffic bringt der ja nix und für was der genau crawlt lässt sich auch nicht genau erkennen.

Der bekommt ein schönes Plätzchen in der .htaccess.

grüße

Das hatte ich schon gelesen,
aber mein Englisch reicht da leider nicht aus.

Warum sperrst du den denn aus?

Hi,

Warum sperrst du den denn aus?

schau mal zb. hier

An die robots.txt scheint er sich auch nicht zu halten und für was der am Ende überhaupt so massiv Daten sammelt, weiß auch keiner so recht. Wenn es wirklich ein Test-Robot ist, dann geht die Testphase schon verdammt lange ...

grüße

PS.: Es ist gar nicht so einfach diesen Bot auszusperren.
Den hatte ich schon lange auf der Liste, ich hatte nur heute das erste mal mit dem Useragenten/Referer Check Programm den Zugriff überprüft und da kam ein Statuscode 200 ...

momentan crawlt er ganz fürchterlich

Mit Traffik habe ich keine Probleme, weil unlimited.

Habe ich sonst irgendwelche Nachteile, wenn ich den nicht aussperre?

Chris

chris47803 schrieb:
Mit Traffik habe ich keine Probleme, weil unlimited.

Habe ich sonst irgendwelche Nachteile, wenn ich den nicht aussperre?

Chris

Die Frage kann ich Dir nicht beantworten. (Vorteile sicher nicht )

Wenn man irgendetwas negatives feststellt, ist es meist oft schon zu spät.

Wie ich gerade bei Abakus gelesen habe, produziert der Bot Unmengen an falschen bzw. fehlerhaften URL's.

Für mich macht der keinen Sinn und wer die robts.txt nicht beachtet ist kein seriöser Bot.

grüße