Índice

Utilizar el protocolo de exclusión de robots POSICIONAMIENTO:Protocolo de exclusión de robots

Robots Exclusion Protocol (REP) permite a los webmasters controlar la manera en la que los robots de los motores de búsqueda acceden a su sitio utilizando un archivo robots.txt o, con una granularidad más fina, las etiquetas Meta.

Podemos ver que, por defecto, un archivo robots.txt está instalado en la raíz de tu sitio Joomla!. Contiene estas declaraciones: ARCHIVO:robots.txt

User-agent: *  
Disallow: /administrator/  
Disallow: /cache/  
Disallow: /components/  
Disallow: /images/  
Disallow: /includes/  
Disallow: /installation/  
Disallow: /language/  
Disallow: /libraries/  
Disallow: /media/  
Disallow: /modules/  
Disallow: /plugins/  
Disallow: /templates/  
Disallow: /tmp/  
Disallow: /xmlrpc/

En resumen, prohíbe a todos los motores de búsqueda explorar el contenido de los directorios del administrador. Esta es una sabia precaución. Por supuesto, nada impide que usted añada sus propios comandos.

Esta es una tabla de comandos básicos que son entendidos por los motores de búsqueda más importantes (Microsoft, Google y Yahoo):

Directiva

Acción

Utilización

Disallow

Le dice a los robots cuáles son las páginas que no se indexan.

Allow

Le dice a los robots cuáles son las páginas de su sitio que deben indexar.

Este sistema se utiliza si una gran parte de su sitio está desactivado, ...