Webmasters, voici à quoi ressemble votre site quand une araignée le regarde :

Cédric Vimeux    Trafic     cache de google, crawler, indexation, lynx browser, moteur de recherche, mots-clés, navigateur lynx, navigateur textuel, Olivier Andrieu, référencement, simulateur de spiders, spider, version texte d'un site

Les spiders (les "araignées" - également appelés crawlers) sont des petits logiciels robots qui scrutent les sites web et les indexent dans les répertoires des moteurs de recherche. Le spider de Google se nomme GoogleBot. Cela de Yahoo se nomme YahooBot. Etc. Ils voyagent de site en site en indexant toutes les pages et en suivant ...
> Lire la suite