seitenchecker?

[spezies5618]

jetzt das zweite mal in Folge, sehe ich in meinen Statistikauswertungen für meine Homepage, das da irgendwer oder irgendwas nachts meine Seite gecheckt hat, und zwar alles. Jeden Link, aber wirklich jeden. Einen Linkchecker hab ich nicht durchlaufen lassen. Ich kann es mir nicht vorstellen das es eine Suchmachschine ist. Denn da hab ich die Robots.txt und die Meta's entsprechend modifiziert. Und die würden auch sicherlich nicht wöchentlich alles durchgucken.

Was kann das sein?

 

[Boothby]

Es gibt Suchrobots wie z.B. Google.de und es gibt solche, die sich genau das zu nutze machen, was du per robots.txt ausschließt. Da wären z.B. diverse e-mail-suchrobots. Ist das nicht illegal? Keine Ahnung.

 

[spezies5618]

aber ist es normal das sich diese Dinger mit NC4 durchs web bewegen?

 

[Peter von Frosta]

Tatsächlich sind die meisten Bots die unterwegs sind von den Spamming Firmen. Die suchen sich mit Bots von privaten Homepages die e-Mail Adressen raus und schicken dann ihre Werbemails los.

 

[AllesMeins]

Noch ne Möglichkeit wäre, das sich jemand deine Seite auf die festplatte geladen hat um sie in aller Ruhe offline anzuschaun... Programme dafür gibt es ja genug...