Suchmaschienen aussperren?
-
wie stellt man das am geschicktesten an? user-agent oder ip
-
-
1. mal: wieso willst du Suchmaschinen aussperren?
Normalerweise wird dazu die robots.txt verwendet. Das muss die Suchmaschine aber supporten. Alle grossen Suchmaschinen unterstuetzen die robots.txt und hoeren darauf was da drin steht.
Wenn man sich aber generell gegen Webcrawler schuetzen will, hilft nur eine Registrierungspflicht.
-
Shade Of Mine schrieb:
1. mal: wieso willst du Suchmaschinen aussperren?
weil ich nur einen zähler für seitenaufrufe hab und dann würd ich mich unnötig über besucher freuen, wenn mal eine vorbeischaut
Shade Of Mine schrieb:
Normalerweise wird dazu die robots.txt verwendet. Das muss die Suchmaschine aber supporten. Alle grossen Suchmaschinen unterstuetzen die robots.txt und hoeren darauf was da drin steht.
okay, hab ich grad angelegt.
Shade Of Mine schrieb:
Wenn man sich aber generell gegen Webcrawler schuetzen will, hilft nur eine Registrierungspflicht.
okay, die ultimative lösung. aber wer geht schon auf eine seite wo es eh nicht viel gibt und er sich auch noch anmelden muss
nman schrieb:
oh, da steht fast ganz unten
Mick // Jun 11, 2012 at 14:39:37
Google/Bing ignore robots.txt, so don’t bother with this…
If you want to block them, use .htaccess
-
Dann ist die richtige Variante ein gutes Analyse Tool zu verwenden. Die Filtern Bots recht zuverlaessig aus den Statistiken.
PS:
waere mir neu dass Google die robots.txt ignoriert... Die verweisen sogar in ihrer Webmaster FAQ aktiv auf die Verwendung von robots.txt...
-
Mal am Rande: Wenn man die größeren Blogsysteme verwendet (WordPress, Joomla, Drupal etc.) lässt sich von Haus aus im Backend die Indexierung von Suchmaschinen abschalten. Ansonsten sollte es für jedes größere System Plugins dazu geben.
-
also ich hab das jetzt mir der robots.txt gemacht. vllt. bau ich noch ip bzw. user-agent black bzw. whitelists ein wenn mir mal langweilig ist
hatte sowas in der alten version schon, aber das waren 2 bis 4 db-anfragen pro request, dann hab ich es wieder ausgebaut
