Cuil.com und sein Twiceler-Bot: Suchmaschine oder DDOS-Angriffswaffe? (Software)

Martin Vogel , Dortmund / Bochum, Tue, 25.05.2010, 20:41 (vor 5079 Tagen)

Seit einiger Zeit sucht ein Rudel hirnloser Bots aus dem IP-Adressbereich der Firma Cuil Incorporated das Bauforum heim. Es sieht zwar immer ganz nett aus, wenn unten in der Statistikzeile "52 User online" steht, aber mehr als die Hälfte der "User" sind im Moment Spiderprogramme von Cuil mit der Kennung "Twiceler", die nichts weiter tun, als täglich tausende von Seiten des Forums und meiner anderen Websites immer wieder aufs neue zu lesen und allem Anschein nach gleich wieder zu vergessen.

Keinen der Bauforumseinträge der letzten Woche konnte ich in dieser seltsamen "Suchmaschine" wiederfinden, die bereits seit 2008 für Ärger und Unverständnis bei Websitebetreibern sorgt. Nun kostet mich der zusätzliche Traffic zwar dank Flatrate nichts, er belastet aber dennoch völlig nutzlos die Server und verlängert die Antwortzeiten des Forums. Da ich auf dieses organisierte Schwachmatentum keinen Wert lege, hat Cuil hier ab sofort Hausverbot.

In meiner robots.txt ist jetzt ein neuer Eintrag:

User-agent: twiceler
Disallow: /

Hat irgendwer den Dienst schon mal benutzt? Und irgendwas damit gefunden?

Nachtrag: Da Cuil/Twiceler sich auch nach 24 Stunden nicht an die robots.txt gehalten hat, sind nun die IP-Bereiche des Angreifers über die Datei .htaccess für jeden Zugriff aufs Forum gesperrt. Wer nicht hören will, muss fühlen.

Deny from 67.218.116.128/18
Deny from 216.129.0.0/17

--
Dipl.-Ing. Martin Vogel
Leiter des Bauforums

Bücher:
CAD mit BricsCAD
Bauinformatik mit Python