Hi,

neben den 4 wichtigsten Suchmaschinen Crawler, treiben täglich unzählige andere Bots ihr Unwesen. Ob gut oder schlecht, dass sei erstmal dahin gestellt.

Mittlerweile ist es so, dass Webkataloge auch von Statistik Freaks (Spidy Padermedien) heimgesucht werden.

Wozu und warum? Um den Kunden detailierte Infos auf Kosten der Webkataloge bereitzustellen? Erschreckend ist, dass bei unseren Projekten 50% des generierten Traffics durch Bots entsteht.

Ich betreibe seit einigen Jahren Webkataloge und weiß wie viele (Eintrags) Profis sich da tümmeln.

Wenn jeder jetzt auf die Idee kommt seinen Kunden einen besonderen Service zu bieten, da kann man nur noch die Reißleine ziehen ala HTTP Status 403.

Zur Zeit vielleicht etwas hochgegriffen, für die Zukunft unabdingbar.

Was haben die Webkataloge überhaupt für Nutzen davon? Dass sich 10 / Tag mehr anmelden? Leute... die meisten Webkataloge sind mit Anmeldungen dermaßen überhäuft, dass Freischaltungen nicht von Heute auf Morgen passieren (vielleicht bei schwachen Katalogen eher)...

Ich habe jetzt Padermedien Spidy ausgesperrt, weil mir das auf den Keks geht und ich keinen Sinn dieses Crawler sehe.

cya
MasterX

Hallo

Ich möchte gerne Stellung beziehen.



Mein Name ist Markus Gees, ich ersann Spidy und die Dienstleistung, die er unterstützt. Spidy ist ein recht kleines Script, dass interne und externe Verlinkungen sucht in Webkatalogen und diese abspeichert. Mehr nicht. Also bin ich kein Statistik-Freak. Freak kann auch beleidigend aufgefasst werden... Naja, Schwamm drüber

Unseren Kunden wird ein deutlicher Mehrwert geboten. Es handelt sich dabei um kleine und mittelständische seriöse Unternehmen, die aktives Linkbuilding betreiben. Wir empfehlen grundsätzlich händisches Eintragen in Webkataloge, also wechselnden Content.

Davon kann man sich unter http://www.padermedien.de/suchmaschinenoptimierung-seo überzeugen.

Also kommt es den Webkatalog-Betreibern zu Gute, wenn wir sie gelegentlich crawlen können. Aber das soll natürlich jeder selber entscheiden.

Wir haben beobachtet, dass unsere Dienstleistung für Katalogbetreiber einen positiven Effekt hat. Die User besuchen über unsere Software gerne ihre eigenen Einträge und klicken dann gelegentlich auch auf Adsenses.

Mittlerweile haben wir 1600 Webkataloge aufgenommen. Wer seinen Katalog ausgetragen haben möchte, der soll sich bitte melden.

Das Web lebt von Verlinkungen. Gerade kleine seriöse Firmen brauchen diese wie wir Luft zum Atmen. Diese scheuen aber den Aufwand oder fallen auf Eintragsdienste herein, die nur aufs Knöpfchen drücken und dann mal eben eine Domain damit "verbrennen". Dem wollen wir entgegenstehen!

Grüße

Markus Gees, PaderMedien

Hallo Markus,

erstmal 'willkommen'.

Dein Crawler war uns aufgefallen, nicht unbedingt negativ in Sachen robot.txt oder sonstiges.

Aber die Sitzung war lang! Welchen Traffic er verschlungen hat weiß ich im mom nicht.

Fakt ist:

Immer mehr Eintragsdienste oder SEO Firmen wollen ihren Kunden einen Mehrwert bieten.

Ist logisch und auch verständlich.

Das ist neben Badbots etc. eine immer größer werdende Belastung in Sachen Traffic. Denn Deine Idee ist nicht neu.

Aber ich möchte Deinen Crawler nicht an den Pranger stellen.

Ich finde es top das Du Dich dazu geäußert hast.

greetz
MasterX

PS.: Es kommt drauf an wie man die Bezeichnung Freak aufnimmt^^