Google: perché alcune pagine non vengono indicizzate

In un suo recente intervento dedicato alla SEO John Mueller, Search Advocate di Google, ha voluto precisare che il motore di ricerca non indicizza tutte le pagine presenti nel Web.

Può quindi succedere che un contenuto che appare attualmente come non indicizzato nell'Index Coverage report della Search Console non lo sarà neanche in futuro e non prenderà mai parte alla generazione di una SERP (Search Engine Results Page).

Per comodità del lettore riportiamo il video integrale dell'intervento ma vale la pena approfondire le ragioni che stanno alle base di questo comportamento.

Il comportamento del crawler di Google

Innanzitutto è bene sottolineare che almeno in teoria Google dovrebbe essere in grado di individuare qualsiasi cosa venga pubblicata online, questo però non significa che il suo crawler debba agire nello stesso modo con tutte le pagine.

Ciò potrebbe accadere per due motivi:

1. il crawler ha provato ad elaborare un URL trovando il sito Web ad esso collegato sovraccarico;
2. il contenuto rilevato non rispetta alcuni standard minimi di qualità che ne permetterebbero l'indicizzazione.

Mentre il secondo punto appare abbastanza chiaro, nel caso del primo il sovraccarico potrebbe portare ad una riprogrammazione del crawling e non è detto che ciò possa avvenire in tempi brevi.

Non è inoltre garantito che tale procedura debba effettivamente essere effettuata.

Cosa fare se una pagina non viene indicizzata?

A tal proposito Mueller ricorda che nonostante Mountain View possa disporre di una quantità di risorse ingente queste ultime non sono comunque illimitate.

Ciò significa che i contenuti di maggiore qualità (o considerati tali dal motore di ricerca) avranno la priorità su tutti gli altri anche per quanto riguarda l'attività del crawler.

Viene quindi da chiedersi quali possano essere le contromisure utili a convincere Google dell'utilità di indicizzare una pagina.

Stando alle indicazioni di Mueller in alcuni casi aspettare che il crawler si occupi di un nostro contenuto potrebbe rivelarsi controproducente.

Potrebbe essere invece molto più utile qualsiasi azione che tenda a migliorare la qualità di un contenuto, anche in questo caso però molto dipenderà dalle scelte di Google che potrebbe continuare a concentrarsi su pagine che hanno offerto in passato maggiori garanzie dal punto di vista delle user experience.