Come funzionano gli spider

Da diverso tempo ormai i motori di ricerca non si basano più soltanto sulle directory, cioè specie archivi privati contenenti link alle pagine web, per aggiornare la lista delle web page presenti nei loro database. Utilizzano invece sempre di più i cosidetti spider.

Questi sono programmi in grado di scaricare e analizzare il contenuto di una pagina web, classificarlo e indicizzarlo, per poi spostarsi attraverso i link ad altre pagine e fare la stessa cosa con quelle.

Gli spider sono principalmente carenti di una logica ben definita, non passano da una pagina all’altra di uno stesso sito seguendo un percorso ragionato, ma utilizzando i link. Per questo è buona norma fare in modo che ogni pagina del nostro sito sia accessibile dalla homepage, preferibilmente con un link diretto.

Di contro ogni pagina deve contenere un link di rimando alla home, poiché può facilmente capitare che uno spider arrivi su una pagina secondaria attraverso un back link trovato su di un altro sito, ma che ignori il nostro poiché non riesce a passare da questa pagina secondaria alla principale.

Altro punto importante da analizzare è il file “robots.txt”. Può esistere un unico file di questo genere per sito, deve essere inserito nella cartella principale ed è unostandard seguito da tutti i motori di ricerca più importanti. Questo file indica agli spider quali pagine analizzare e quali tralasciare, e può fare lo stesso anche con i link.

Dato che gli spider non permangono troppo allungo sullo stesso sito è utile concentrare l’indicizzazione sulle pagine più importanti, con i contenuti più popolarie inerenti all’agomento che trattiamo principalmente.

Il file “robots.txt” permette di operare queste scelte anche differenziando gli agenti, cioè scegliendo a quali motori di ricerca vietare o consentire l’indicizzazione di determinate pagine.

Per maggiori dettagli su come scrivere il file “robots.txt” potete visitare questo link , mentre per chi preferissi affidarsi ad un professonista è possibile chiedere supporto ad un consulente seo specializzato.

Naturalmente se avete l’esigenza di fare scelte del genere molto personalizzate in pase alla pagina potete utilizzare i meta-tag, che hanno una funzione simile

Bisogna ricordarsi sempre che lo spider che sta analizzando la pagina non terrà in considerazione le immagini, ma ne leggerà solo i tag html che le descrivono, mentre si concentrerà sul testo, cercando termini ricorrenti e inerenti all’argomento del sito, per poi analizzarli e individuarne  i contenuti in modo da relazionarli alle ricerche effettuate sul motore di ricerca.

Proprio per questo fatto il programma che analizza le pagine web terrà molto da conto le parole chiave, quelle più digitate dai suoi utenti, e le ricercherà, in modo da associare il sito ad una certa combinazione di parole ricercata spesso.

Altra cosa molto importante che bisogna tenere da conto su questi software è che tendono a ritornare speso su pagine che aggiornano frequentemente il loro contenuto, e che tengono molto in considerazione nell’indicizzazione la quantità di testo. Ciò non vuol dire che si possono mettere migliaia di key word a caso in una pagina per essere indicizzati, anzi potrebbe accadere l’esatto opposto, un comportamento del genere potrebbe spingere il motore di ricerca ad escludere definitivamente l’url del documento dai suoi database.

Quindi oltre a occuparvi degli aspetti tecnici di cui abbiamo già parlato curate bene i testi presenti nelle pagine, questo vi aiuterà molto con l’indicizzazione e darà una mano anche nel posizionamento del vostro sito.

Nota:  spesso i termini indicizzazione e posizionamento vengono confusi, ma indicano azioni differenti, di fatti il posizionamento si riferisce al far comparire una pagina nei primi risultati di un motore di ricerca, mentre l’indicizzazione ha lo scopo di farla catalogare adeguatamente nei database di questo.

Leave a Reply

Your email address will not be published. Required fields are marked *