Vor kurzen bekam ich folgende E-Mail:

[...] aufgrund der neuen Rechtslage in Europa haben wir die Pflicht

Sie darüber zu informieren, dass die o.g. Website im

Bewertungs-Index von cuge.org gelistet ist. cuge [kjudsch] ist

ein freier Service für die Bewertung der Service-Qualität und

Zuverlässigkeit von Websites durch die Kunden der Site selbst. [...]

Diese Mail irretierte mich ein wenig. Deshalb habe ich cuge.org aufgerufen.  Ein Bewertungssystem für Webseiten? Was soll denn dieser Schwachsinn? Die aufgenommene Domain bietet keinen Service an, hat keine Kunden und Zuverlässigkeit spielt nur im Zusammenhang mit dem Webhoster eine Rolle.

Wie gesagt, hier wurde eine rein private Webseite zum Freiwild für Bewertungen in ein misteriöses System aufgenommen.

Das Bewerten von Webseiten ist ohnehin unseriös. Aus eigener Erfahrung (Programmierung von Chart/Toplist- Systemen seit 2000) mussten wir feststellen, dass (positive, negative) Bewertungen oft fingiert wurden / werden.

Für mich ein Fall zum Aussperren für die .htaccess. Der Cuge.org Crawler identifiziert sich wie folgt:

UserAgent: cugeCrawler 1.2 – cuge.org

.htaccess

RewriteCond %{HTTP_USER_AGENT} ^.*cugeCrawler.*$ [NC,OR]

Abschließend ein kleiner Test mit dem .htacces-checker, ob unsere Regel fehlerfrei war.

ua

Sie ist es. Wie man am Hut des Agenten sehen kann, wurde ein 403 Statuscode (forbidden) zurück gesendet.

Download: Ausgesperrte Useragenten überprüfen (.htaccess) (4)

Siehe auch: cuge-org-entfernung-meines-eintrags

Hinweis:

Ein besorgter User teilte mir per Mail mit, dass es – nachdem er die RewriteCond in seine .htaccess eingefügt hatte – die ganze Webseite außer Betrieb gesetzt hatte (Internal Server Error 500).
Kurz dazu.

RewriteCond deklariert eine Bedingung, die erfüllt sein muss, damit die RewriteRule ausgeführt wird.

Wer sich an der .htaccess vergreift, sollte auch wissen was er macht! Grundkenntnisse sind vorausgesetzt, deswegen hatte ich nur die RewriteCond gepostet.

Hier ein komplettes Beispiel:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*cugeCrawler.*$
RewriteRule ^.* - [F]

Erklärung zu den verwendeten Flags

[NC,OR]

NC (no case) besagt, das zwischen Groß- und Kleinschreibung nicht unterschieden wird, OR ist eine logische ODER Verknüpfung, die man einsetzt, wenn man mehrere RewriteCond Bedingungen verwendet.

RewriteRule ^.* - [F] // sendet einen 403 Status an den Browser

Für Fragen steht unser Forum zur Verfügung, bitte keine E-Mails mehr dazu senden! Danke!

Join the forum discussion on this post - (3) Beiträge