Cómo configurar el archivo robots.txt en Joomla

El archivo robots.txt es un pequeño archivo que se encuentra en la carpeta raíz de tu sitio Joomla. El archivo contiene instrucciones para los motores de búsqueda sobre qué pueden indexar y qué no.

Algunas personas confunden el archivo robots.txt con el archivo .htaccess. La diferencia es significativa. El primero sólo da instrucciones a los motores de búsqueda - y la mayoría de los motores de búsqueda las respetan. El archivo robots.txt no se utiliza para ninguna cosa relacionada con la seguridad. Sin embargo, puede tener un impacto en la optimización para los motores de búsqueda.

El archivo .htaccess, por el contrario, se utiliza para reconfigurar la configuración de tu servidor Apache, redirigir las direcciones URL y otras tareas relacionadas con el servidor.

El archivo robots.txt y SEO

Como se mencionó anteriormente, el ​​archivo robots.txt está en la carpeta raíz del sitio. Contiene información sobre las carpetas que deben ser indexadas y las que no. También puede incluir información acerca de su sitemap XML.
Hay solamente dos consejos que me gustarìa recomendar respecto al SEO y el archivo robots.txt:

1. Retire la exclusión de imágenes

Por razones que no entiendo, el archivo robots.txt por defecto en Joomla está configurado para excluir la carpeta de imágenes. Eso significa que sus imágenes no serán indexadas por Google y no aparecerán en su búsqueda de imágenes. Y eso es algo que se quiere, ya que añade otro nivel a la  visibilidad de su sitio web en los motores de búsqueda.
Para cambiar esto, abra el archivo robots.txt y quite la línea que dice:

Disallow: / images /

Al eliminar esta línea, Google comenzará a indexar las imágenes en el próximo rastreo de su sitio.

2. Agregue una referencia a su archivo sitemap.xml

He hablado sobre el archivo XML del sitio anteriormente, en mi post sobre cómo indexar su sitio Joomla en Google. Si usted tiene un archivo sitemap.xml (! Y usted debe tenerlo!), será bueno incluir la siguiente línea en su archivo robots.txt:

Mapa del sitio: http: //www.sudominio.com/sitemap.xml

Naturalmente, esta línea tiene que ser ajustada para adaptarse a su dominio y el archivo de mapa del sitio. En mi caso, yo uso el componente Xmap para crear el archivo XML del sitio de forma automática.
Así, la línea tiene este aspecto para Creatupaginaweb.biz:

sitemap:http://www.creatupaginaweb.biz/component/option,com_xmap/lang,es/sitemap,1/view,xml/

Después de hacer todo esto, el archivo robots.txt puede vivir en paz para siempre en la carpeta raíz de su sitio.