Optimizando el Archivo Robots.txt para WordPress 2.+

Es importante que un Blog esté dentro de las Primeras Posiciones de Google para mantener sus Visitantes Potenciales en línea con el Blog. Es por eso que, cuando nos indexan los Buscadores, lo primero en ser Consultado es el Archivo Robots.txt que, en efecto, Google por ejemplo revisa cada 24 horas el archivo Robots.txt para ver si existen Cambios.

Es muy importante entonces que exista una buena gestión de este archivo, porque, si no sabes manejarlo, es probable que dejes a todos los Buscadores fuera de tu Web.

Para WordPress la cosa no está tan alejada, es por eso que desde Marlex Systems te presento el Archivo Robots.txt que debe tener tu Sitio Web para obtener mejor posicionamiento.

# Esta regla se aplica a todos los Buscadores
User-agent: *

# Desactiva todos los directorios que poseen:
Disallow: /cgi-bin/
Disallow: /stats/
Disallow: /dh_
Disallow: /about/legal-notice/
Disallow: /about/copyright-policy/
Disallow: /about/terms-and-conditions/
Disallow: /contact/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/

# Desactiva todas las páginas por mes
Disallow: /2006/0
Disallow: /2006/1
Disallow: /2007/0
Disallow: /2007/1

# Activa la posibilidad de que el Bot de Google Indexe
User-agent: Googlebot

# Desactiva todos los Archivos que comiencen con estas extensiones
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.tar$
Disallow: /*.tgz$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# Desactiva el que Google Indexe los Feeds y Trackbacks..
Disallow: */feed/
Disallow: */trackback/

# Desactiva todos los archivos que tienen un ?
Disallow: /*?*
Disallow: /*?#

# Desactiva todos los Meses archivados
Disallow: /2006/0*
Disallow: /2007/0*
Disallow: /2006/1*
Disallow: /2007/1*

# Activa el Bot de Imágenes de Google
User-agent: Googlebot-Image

# Permite todo el resto
Allow: /*

# Este es el Bot de publicidad de Google
User-agent: Mediapartners-Google*

# Permite Todo
Allow: /*

Eso es Todo, simplemente guárdalo como Robots.txt en la Raíz de tu Sitio Web y los Buscadores harán el resto. Ten en cuenta que el Archivo Robots.txt ayuda a los Buscadores a Indexarte mejor…

Más Información | Robotstxt.org