Zur Navigation

Suchmaschinen erkennen?

1 Fussballer (Gast)

Hi Jörg und die anderen,
wie kann ich Suchmachschinen allgemein im HTTP_USER_AGENT erkennen?

Danke für die Antworten schonmnal im voraus
Der Fussballer

09.01.2007 23:13

2 Jörg

Hallo Fussballer,

meinst du wie man den Header HTTP_USER_AGENT technisch auswerten kann - oder woran man die einzelnen User Agent Strings der Suhmaschinenbots erkennen und verifizieren kann? Letzteres kann man am besten über die (Whois-)Überprüfung der IP-Adresse, da der User Agent String auch gefälscht sein kann

Die User Agent Strings kann man in folgender recht ausführlichen Liste nachschlagen:

http://www.psychedelix.com/agents/index.shtml

09.01.2007 23:29

3 Fussballer (Gast)

Hallo,
ich habe einfach eine Seitenstatistik machen, wie oft welcher browser benutzt wird. Das klappt auch, aber es gibt halt auch Suchmaschinen die die Seite besuchen. Das ganze sieht etwa so aus:

(Beispielwerte)
Internet Explorer 6: 35%
Firefox: 25 %
Unbekannt: 20 %
Internet Explorer 7: 12 %
Opera: 5 %
etc.

ich beziehe die Browser aus $HTTP_USER_AGENT (von wo sonst?). Ein großer Teil davon ist jedoch Unbekannt. Ich habe jedoch auch Seiten gesehen, wo die % von Unbekannt viel geringer war und wo es dafür noch "Suchmachschinen" gab.
Die Liste mit dem Link habe ich schon bei dir im Forum gefunden, aber die ist zu ausführlich, vorallem 90% dieser Bots werden nie meine Seite besuchen. Gibt es nicht so eine Liste wie auf deiner Seite (für die Browser, die benutz ich auch, danke nochmal an dieser Stelle) für Suchmaschinen, wo zumindest die wichtigsten aufgeführt sind (Googlebot und ein paar mehr).
Wenns im Internet dazu auch noch irgendeine Liste für Betriebssystemkennungen gibt, wie auf deiner Seite ( :-) ), dann wär ich noch mehr erfreut!

Ich danke dir
Fussballer

10.01.2007 12:40

4 Jörg

Gibt es nicht so eine Liste wie auf deiner Seite (für die Browser, die benutz ich auch, danke nochmal an dieser Stelle) für Suchmaschinen, wo zumindest die wichtigsten aufgeführt sind (Googlebot und ein paar mehr).

Eine solche Liste kenne ich leider nicht. Die Frage ist auch: welche Suchmaschinen stufst du als wichtig ein? Diejenigen, die im nennenswerten Umfang Besucher bringen? Letzteres hängt auch von der Sprache, Geographie und gegebenenfalls dem Thema einer Seite ab. In Deutschland sind in diesem Sinne im allgemeinen eigentlich nur die Bots von Google, Yahoo und MSN von größerer Bedeutung - und diese kann man an den Teilstrings "Googlebot", "Slurp" und "msnbot" festmachen. (Der Bilder-Bot von Yahoo hat allerdings einen anderen signifikanten Teilstring: "Yahoo-MMCrawler")

10.01.2007 14:16

5 Fussballer (Gast)

Danke für deine Hilfe :-)
Das sollte doch reichen um einen großen Teil zu decken.

Habe hier noch eine sehr gute Liste gefunden:
http://en.wikipedia.org/wiki/User_agent

10.01.2007 18:04

Beitrag schreiben (als Gast)





[BBCode-Hilfe]