Dezember 9th, 2009 
Brainstorm Vor kurzen bekam ich folgende E-Mail:
[...] aufgrund der neuen Rechtslage in Europa haben wir die Pflicht
Sie darüber zu informieren, dass die o.g. Website im
Bewertungs-Index von cuge.org gelistet ist. cuge [kjudsch] ist
ein freier Service für die Bewertung der Service-Qualität und
Zuverlässigkeit von Websites durch die Kunden der Site selbst. [...]
Diese Mail irretierte mich ein wenig. Deshalb habe ich cuge.org aufgerufen. Ein Bewertungssystem für Webseiten? Was soll denn dieser Schwachsinn? Die aufgenommene Domain bietet keinen Service an, hat keine Kunden und Zuverlässigkeit spielt nur im Zusammenhang mit dem Webhoster eine Rolle.
Wie gesagt, hier wurde eine rein private Webseite zum Freiwild für Bewertungen in ein misteriöses System aufgenommen.
Für mich ein Fall zum Aussperren für die .htaccess. Der Cuge.org Crawler identifiziert sich wie folgt:
UserAgent: cugeCrawler 1.2 – cuge.org
.htaccess
RewriteCond %{HTTP_USER_AGENT} ^.*cugeCrawler.*$ [NC,OR]Abschließend ein kleiner Test mit dem .htacces-checker, ob unsere Regel fehlerfrei war.
Sie ist es. Wie man am Hut des Agenten sehen kann, wurde ein 403 Statuscode (forbidden) zurück gesendet.
Download: [download id="1"]
Siehe auch: cuge-org-entfernung-meines-eintrags
Hinweis:
Ein besorgter User teilte mir per Mail mit, dass es – nachdem er die RewriteCond in seine .htaccess eingefügt hatte – die ganze Webseite außer Betrieb gesetzt hatte (Internal Server Error 500).
Kurz dazu.
RewriteCond deklariert eine Bedingung, die erfüllt sein muss, damit die RewriteRule ausgeführt wird.
Wer sich an der .htaccess vergreift, sollte auch wissen was er macht! Grundkenntnisse sind vorausgesetzt, deswegen hatte ich nur die RewriteCond gepostet.
Hier ein komplettes Beispiel:
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^.*cugeCrawler.*$ RewriteRule ^.* - [F]
Erklärung zu den verwendeten Flags
[NC,OR]
NC (no case) besagt, das zwischen Groß- und Kleinschreibung nicht unterschieden wird, OR ist eine logische ODER Verknüpfung, die man einsetzt, wenn man mehrere RewriteCond Bedingungen verwendet.
RewriteRule ^.* - [F] // sendet einen 403 Status an den Browser
Für Fragen steht unser Forum zur Verfügung, bitte keine E-Mails mehr dazu senden! Danke!
Join the forum discussion on this post 
Posted in 
Tags: 
Hallo,
kann man das Programm “htaccess-check” irgendwo herunterladen? Habe hier leider keinen Verweis gefunden.
Micha
Danke für den Hinweis. Ich habe meine htaccess Datei gleich dementsprechend angepasst. Ein Shop wurde von CUGE bereits bewertet obwohl ich hierüber noch keine Waren verkauft habe. Meine Meinung: Wieder eine nutzlose und sinnfreie Seite auf die man verzichten kann, da man die Bewertungen ohne viel Aufwand manipulieren kann.
Die Idee, den Crawler von Cuge auszusperren ist prinzipiell nicht schlecht. Leider funktioniert sie garantiert nur eine beschränkte Zeit. Spätestens, wenn die Betreiber darauf aufmerksam werden, werden sie ihren Crawler unter einem unverfänglichen Namen losschicken. Die IP des Crawlers zu sperren, wäre sicherlich wirksamer, da dann der Aufwand für die Betreiber größer wird.
@FatFreddy,
wenn ein Anbieter, der sich “Verbraucher-Schutz-Portal” nennt plötzlich seine Useragenten Identifizierung ändert, dann wäre die letzte Glaubwürdigkeit verloren. Ich glaube den Schritt gehen die nicht (wenn ja dann landen sie früher oder später auf den bekannten Spam und Honeypot Seiten).
und das Aussperren der Ip wäre zu einfach.
Habe auch so eine Mail bekommen. Den Crawler auszusperren finde ich super. Vielleicht sollte man aber auch gegen Cuge vorgehen. Der Rechtshinweis ist doch nur Tarnung, eigentlich ist es Spam, meint ein Anwalt unter http://www.handwerk.com/e-mails-von-cuge-verunsichern-empfaenger/150/63/27639/
Meine Seite ist dort auch gelistet – obwohl ich ebenfalls nichts verkaufe. Ich habe zusätzlich zum Crawlernamen jetzt auch die IP Nummer dieses ominösen Anbieters gesperrt: 89.200.169.221
Würde mich nicht wundern wenn dass so eine Geschichte wie 123people und Co. ist. Unerwünscht Daten sammeln und später für die Entfernung dieser teils falschen – Daten Geld abknüpfen wollen…