Une « araignée logicielle » est un programme sans pilote exploité par un moteur de recherche qui surfe sur le Web comme vous le feriez. Au fur et à mesure qu'il visite chaque site Web, il enregistre (sauvegarde sur son disque dur) tous les mots sur chaque site et note chaque lien vers d'autres sites. Il « clique » ensuite sur un lien, et il va lire, indexer et stocker un autre site Web.
L'araignée logicielle lit et indexe souvent le texte entier de chaque site Web qu'il visite dans la base de données principale du moteur de recherche pour lequel il travaille. Récemment, de nombreux moteurs tels qu'AltaVista ont commencé à indexer seulement jusqu'à un certain nombre de pages d'un site, souvent environ 500 au total, puis s'arrêtent. Apparemment, c'est parce que le Web est devenu si grand qu'il est impossible de tout indexer. Le nombre de pages que l'araignée indexera n'est pas entièrement prévisible. Par conséquent, c'est une bonne idée de soumettre spécifiquement chaque page importante de votre site que vous souhaitez indexer, comme celles qui contiennent des mots-clés importants.
Une araignée logicielle est comme un bibliothécaire électronique qui découpe la table des matières de chaque livre dans chaque bibliothèque du monde, les trie dans un gigantesque index principal, puis construit une bibliographie électronique qui stocke des informations sur quels textes font référence à quels autres textes. Certains robots logiciels peuvent indexer plus d'un million de documents par jour ! Il est important de comprendre que les araignées des moteurs de recherche ne font que deux choses :
- Ils indexent le texte.
- Ils suivent des liens.
Lors d'une récente conférence sur les stratégies de moteur de recherche organisée par SearchEngineWatch.com, l'un des conférenciers invités, Shari Thurow de Grantastic Designs, a souligné ce point et l'a répété plusieurs fois pour illustrer sa signification : « Les moteurs de recherche indexent le texte et suivent les liens ». Ils indexent le texte et suivent les liens. C'est tout ce qu'ils font.
Son point est important et central pour comprendre la nature des araignées des moteurs de recherche. Si le texte de votre site Web est contenu dans un graphique, les moteurs de recherche ne peuvent pas l'indexer. Si tous vos mots-clés importants pour lesquels vous espérez atteindre un classement sont inclus dans les graphiques, et non dans le texte HTML, votre site n'atteindra pas de classement. N'oubliez pas que les moteurs de recherche n'indexent pas les images ou ne lisent pas les images, ils indexent le texte et suivent les liens. C'est tout. Si vous n'avez pas de texte sur votre page visible, aucun nombre de mots-clés dans votre métabalise de mot-clé ne vous aidera à atteindre un classement.
Ce que l'araignée voit sur votre site déterminera comment votre site est répertorié dans son index. Les moteurs de recherche déterminent la pertinence d'un site en fonction d'un système de notation complexe que les moteurs de recherche tentent de garder secret. Ce système ajoute ou soustrait des points en fonction de facteurs tels que le nombre de fois où le mot-clé est apparu sur la page, où sur la page il est apparu et combien de mots au total ont été trouvés. Les pages qui obtiennent le plus de points sont renvoyées en haut des résultats de recherche ; le reste est enterré au fond, introuvable.
Lorsqu'un spider logiciel visite votre site, il note tous les liens de votre page vers d'autres sites. Dans la vaste base de données de tout moteur de recherche sont enregistrés tous les liens entre les sites. Le moteur de recherche sait à quels sites vous vous êtes connecté et, plus important encore, à quels sites vous êtes lié. De nombreux moteurs utiliseront même le nombre de liens vers votre site comme indicateur de popularité, et augmenteront ensuite votre classement en fonction de ce facteur.
Copyright © 2000 iProspect.com
