[RSS] Google rend open source la bibliothèque C++ qu'il utilise pour l'analyse des règles dans les fichiers robots.txt et formalise la spécification REP

https://ift.tt/eA8V8J

Google rend open source la bibliothèque C++ qu'il utilise pour l'analyse des règles dans les fichiers robots.txt,
et formalise la spécification REP

Un fichier robots.txt indique aux robots d'exploration des moteurs de recherche les pages ou les fichiers qu'ils peuvent ou ne peuvent pas demander à votre site. Son objectif principal est d'éviter de surcharger votre site de demandes. Il ne sert pas à empêcher qu'une page Web figure dans les résultats de recherche Google. Pour empêcher qu'une page...