[ITA]
Il generatore robots.txt è un software gratuito che vi permette di poter creare il file robot, che poi dovrete andare ad inserire nella directory principale insieme, di solito, alla sitemap.xml
Questo file aiuta gli spider dei motori di ricerca a capire quali pagine possono accedere ed indicizzare, e quali no.
Quando uno spider di google o bing o qualsivoglia motore di ricerca accede il tuo sito, per prima cosa cerca il file robots.txt per capire come lavorare all’indicizzazione.
Ad esempio potrebbe essere una buona idea non far indicizzare l’area di amministrazione del sito e tenerla il più riservata possibile.
Oppure, appunto, se avete l’accesso ad un’area riservata… inutile che compaia sui motori di ricerca.
Inoltre, sempre nel file robots.txt viene indicato allo spider che entra sul sito, la posizione ed il nome della sitemap che, dopo aver ricevuto istruzioni sul dove non deve andare, gli da una mano ad indicizzare il resto.
In assenza del file robots.txt, lo spider è autorizzare ad andare dove vuole ed indicizzare qualunque cosa.
Però è molto più efficiente, e quindi premiante, far trovare allo spider di google (o qualunque motore) delle indicazioni chiare sul come comportarsi.
A livello di approccio ad esempio, il file robots.txt indica una cura nella gestione dei contenuti da mostrare, mentre il file sitemap.xml indica che ci tenete al fatto che il motore indicizzi le parti più importanti del sito… accortezze che i motori di ricerca possono far valere in sede di posizionamento.
Per creare, sempre gratuitamente, un’efficiente sitemap per il vostro sito… andate QUI
[ENG]
The robots.txt generator is a free software that allows you to create the robot file, which you then have to go to the root directory together, usually, to the sitemap.xml
This file helps search engine spiders to understand which pages they can access and index, and which are not.
When a google or bing spider or any search engine accesses your site, first look for the robots.txt file to understand how to work with indexing.
For example, it might be a good idea not to index the administration area of ​​the site and keep it as confidential as possible.
Or, in fact, if you have access to a private area ... useless to appear on search engines.
Moreover, always in the robots.txt file is indicated to the spider that enters the site, the position and the name of the sitemap that, after receiving instructions on where it should not go, gives him a hand to index the rest.
In the absence of the robots.txt file, the spider is authorized to go where it wants and to index anything.
But it is much more efficient, and therefore rewarding, to find the google spider (or any engine) clear indications on how to behave.
At the approach level, for example, the robots.txt file indicates a care in the management of the content to show, while the sitemap.xml file indicates that you care about the fact that the engine indexes the most important parts of the site ... care that the engines research can be asserted during the placement.
To create, always for free, an efficient sitemap for your site ... go HERE
