Disponibilité du magazine en kiosques

Suite à la faillite de plusieurs sociétés de distribution de presse (journaux et magazines), conséquence de la liquidation judiciaire de Presstalis, des centaines de kiosques et points de vente de presse ne reçoivent plus du tout, ou très partiellement, de magazines, dont Programmez!.

En attendant que la situation puisse revenir à la normale, la meilleure solution est l’abonnement.

Googlebot n'accède pas au fichier robots.txt de 25% des sites

Par:
fredericmazue

lun, 18/11/2019 - 16:59

Googlebot, le robot du moteur de recherche de Google, a absolument besoin de pouvoir accéder au fichier robots.txt des sites pour pouvoir les référencer dans les meilleures conditions. Pourtant il n'y parvient pas dans 26% des cas.

C'est assez surprenant, mais Google l'a affirmé lors du Google Webmaster Conference Product Summit qui s'est tenu dernièrement.

Dans 20% des cas, le fichier robots.txt est inaccessible à Googlebot, et dans 5% des cas, il génère une erreur 5xx.

Lorsque le robots.txt est inaccessible, le robot de Google va quand même essayer d'indexer le site. Mais il va alors parcourir toutes les URLs qui lui sont 'visibles' et de ce fait référencer des pages de façon plus ou moins pertinentes.

Mais, rappelle Google, si le robot rencontre une erreur 5xx, alors le site ne sera pas du tout analysé.

Source : growmap.com