I segreti nascosti dei log

Fin da quando ho avuto a che fare con lo sviluppo di un programma di statistiche ho sempre trovato particolarmente curioso analizzare e sviscerare manualmente i log dei server a cui avevo accesso. IIS o Apache poco importa, i contenuti sono quasi standard ma le scoperte alcune volte sorprendenti.

Alcuni esempi? Prendiamo Google. Qualche settimana prima che lo stesso staff del motore di ricerca lo annunciasse, nei log si poteva notare il misterioso passaggio di Google FeedFetcher, un bot dal comportamento anarchico che senza curarsi delle direttive del robots.txt faceva pesanti scorpacciate dei feed sui nostri siti.

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

E cosa dire del più recente Googlebot Mobile del quale pochi hanno parlato in Italia, un po' di più in America nei forum SEO internazionali. Di cosa si tratta? Difficile a dirsi poiché da marzo, data della prima apparizione, ad oggi, nessuno ha ancora confermato nulla. Difficile pensare che possano essere dipendenti di Google in fase di testing di un nuovo telefonino Nokia, altrettanto difficile prevedere l'entità  di questo crawler.

Nokia6820/2.0 (4.83) Profile/MIDP-1.0 Configuration/CLDC-1.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Spostandosi nel mondo dei feed mi viene da citare il caso Microsoft/MSN, dove mesi prima che il colosso informatico lo confermasse ufficialmente c'erano già  voci che commentavano la presenza di uno spider dedicato ai feed. Cosa dire invece di Bloglines che da qualche mese si presenta con una user agent particolarmente curiosa, accompagnata da una sigla altrettanto misteriosa.

Bloglines/3.0-rho (http://www.bloglines.com; x subscribers)

Ma i log non sono solo una ricca fonte di indiscrezioni sui bot. Sono un utilissimo archivio di comportamenti degli utenti umani e non. Analizzare lo spostamento di un utente tracciato nei log è spesso fondamentale per chi si occupa di marketing ad alto livello, ancora più delicata l'analisi del passaggio dei bot dei motori di ricerca.

E voi cosa ne pensate dell'analisi (manuale?) dei log? Interessante esperimento o insana perdita di tempo?