Facebooks Google-Bot-UA

Arbeiten Facebook und Google doch enger zusammen, als sie es zugeben? Nachfolgend Spekulationen und Log-Auszüge.

Bisher bekannt ist, dass Google Facebooks sog. "Apps" crawlt und ausserdem die in Websites eingebundenen Kommentare indiziert. Seit einiger Zeit, genauer seit dem 19.12.2011, schlägt bei mir immer mal wieder ein Bot auf, der den Useragenten (UA) "Googlebot/2.1" trägt, aber von einer Facebook-IP kommt und ausserdem POST-request absetzt, also ein eher (nicht-FB-)Spider-untypisches Verhalten.

Eine Nachfrage bei Google ergab natürlich nichts; Facebook liess immerhin sein deutsches PR-Büro Heine aus Hamburg antworten, die aber auch nicht wussten, warum ein Bot, der mit einer Facebook-IP unterwegs ist, den, offensichtlich gefälschten, UA "Googlebot" trägt.

Warum fälscht Facebook die Useragenten seiner Bots?

Vielleicht meint FB, wenn sie mit dem "Googlebot"-UA ankommen bekommen sie mehr Daten und werden in Bereiche vorgelassen, die sonst nur Googles SuMa-Bot zu sehen kriegt? Mit der Taktik werdet ihr euren miserablen Ruf als Datensammler aber nicht los...

Oder es ist wie bei einer Bestellung bei Beate Uhses Erotikversand: die Waren kommen schön diskret verpackt als Googlebot, damit die Freundin nicht mitbekommt, dass man heimlich Facebook-Bots auf seine Seite lässt. Das ist natürlich Quatsch.

Möglicherweise hat auch nur ein Programmierer bei FB Langeweile, oder Google und FB planen den nächsten Schritt ihrer Zusammenarbeit, oder es handelt sich um eine Konfusionsoffensive um Webseitenbetreiber zu verwirren. Warum auch immer.

Praktisch wäre eine engere Zusammenarbeit ja schon für Google und Facebook: wenn Google sowieso "Apps" und Kommentare von FB indiziert, dann können sie ja gleich ihren Bot über FBs Server laufen lassen. Das generiert dann irgendwo bestimmt Synergieeffekte, die dann in irgend einer Weise den Nutzern dieser Dienste, also uns, zu Gute kommen. Aus verschwörungstheoretischer Sicht erleichtert das vielleicht auch der NSA und den anderen 3000 Terrorbehörden der US-Amis die Arbeit. Also eine Win-Win-Win-Situation.

Untenstehend auf jeden Fall schonmal die Log-Auszüge:

Logs

16.01.2012 22:38:06 - 69.171.242.248 - Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

NetRange: 69.171.224.0 - 69.171.255.255
CIDR: 69.171.224.0/19
OriginAS: AS32934
NetName: TFBNET3
NetHandle: NET-69-171-224-0-1
Parent: NET-69-0-0-0-0
NetType: Direct Assignment
RegDate: 2010-08-05
Updated: 2010-10-15

 

19.12.2011 17:50:05 - 69.63.190.244 out.lb01.02.ash2.tfbnw.net - Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

NetRange: 69.63.176.0 - 69.63.191.255
CIDR: 69.63.176.0/20
OriginAS: AS32934
NetName: TFBNET2
NetHandle: NET-69-63-176-0-1
Parent: NET-69-0-0-0-0
NetType: Direct Assignment
Comment: Contact Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein! with issues.
RegDate: 2007-02-07
Updated: 2010-07-08

 

69.171.228.248 - - [14/Feb/2012:18:52:43 +0100] "POST /*/app/ HTTP/1.1" 404 4323 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

NetRange: 69.171.224.0 - 69.171.255.255
CIDR: 69.171.224.0/19
OriginAS: AS32934
NetName: TFBNET3
NetHandle: NET-69-171-224-0-1
Parent: NET-69-0-0-0-0
NetType: Direct Assignment
RegDate: 2010-08-05
Updated:  2010-10-15

 

69.171.224.247 - - [02/Mar/2012:11:40:51 +0100] "POST /*/*/*?id=1 HTTP/1.1" 200 437 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

NetRange: 69.171.224.0 - 69.171.255.255
CIDR: 69.171.224.0/19
OriginAS: AS32934
NetName: TFBNET3
NetHandle: NET-69-171-224-0-1
Parent: NET-69-0-0-0-0
NetType: Direct Assignment
RegDate: 2010-08-05
Updated: 2012-02-24

[Update:]

69.171.228.246 - - [06/Mar/2012:06:59:46 +0100] "POST /*/app/ HTTP/1.1" 403 2353 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"


69.171.224.244 - - [08/Mar/2012:09:12:28 +0100] "POST /*/app/ HTTP/1.1" 403 2353 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"


69.171.224.250 - - [10/Mar/2012:03:14:31 +0100] "POST /*/app/ HTTP/1.1" 403 2353 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"


69.171.224.245 - - [10/Mar/2012:03:14:31 +0100] "POST /*/app/ HTTP/1.1" 403 2353 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"