no comments

Cómo crear un archivo Robots.txt para bing

Cómo crear un archivo Robots.txt

Usted puede utilizar un archivo robots.txt para controlar que los directorios y archivos en el servidor web un protocolo de exclusión de Robots (REP)-correa eslabonada de motor de búsqueda compatible (también conocido como un robot o bot) no está permitida para visitar, es decir, secciones que no deben ser rastreadas. Es importante entender que esto no por definición implica que una página que no se rastreó también no serán indexadasPara ver cómo evitar que una página sea indexado ver este tema.

PASOS

  1. Identificar que los directorios y archivos en el servidor de web que desea bloquear desde el que se rastrea por el rastreador
  2. Identificar si o no necesita especificar instrucciones adicionales para un bot de motor de búsqueda particular más allá de un conjunto genérico de directivas rastreros
  3. Utilice un editor de texto para crear el archivo robots.txt y directivas para bloquear el contenido
  4. Opcional: Agregar una referencia a su archivo de sitemap (si tiene uno)
  5. Comprobar errores al validar el archivo robots.txt
  6. Cargar el archivo robots.txt en el directorio raíz de tu sitio

PASO DETALLE

Identificar que los directorios y archivos en el servidor de web que desee bloquear de la correa eslabonada

  1. Examinar el servidor web para contenido que no desea ser visitado por los motores de búsqueda.
  2. Crear una lista de los directorios y archivos accesibles en su servidor de web que desea prohibir. Ejemplo Puede que los robots ignoran rastreros tales directorios de sitio como /cgi-bin, / scripts y/tmp (o sus equivalentes, si existen en su arquitectura de servidor).

Identificar si o no necesita especificar instrucciones adicionales para un bot de motor de búsqueda particular más allá de un conjunto genérico de directivas rastreros

  • Examinar registros de referente de su servidor web para ver si hay bots arrastrándose el sitio que queremos bloquear más allá de las directrices genéricas que se aplican a todos los robots.
NOTA
Bingbot, al encontrar un conjunto específico de instrucciones para sí mismo, ignora las directivas que figuran en la sección genérica, por lo que tendrá que repetir todos de las directrices generales además de las directivas específicas que creó para ellos en su propia sección del archivo.

Utilice un editor de texto para crear el archivo robots.txt y agregar directivas de REP para bloquear el contenido de ser visitadas por los bots. Se guardará el archivo de texto en ASCII o UTF-8 codificación.

  1. Se hace referencia a los robots como agentes de usuario en el archivo robots.txt. Al principio del archivo, iniciar la sección primera de las directivas aplicables a todos los robots añadiendo esta línea: User-agent: *
  2. Crear una lista de directivas Disallow listado el contenido que desea bloquear. Ejemplo Teniendo en cuenta los ejemplos de directorio previamente usados, tal conjunto de directivas tendría este aspecto:
    • Agente de usuario: *
    • Disallow: /cgi-bin /
    • Disallow: / scripts /
    • Disallow: /tmp/
    NOTA
    • No Enumeras varias referencias de contenido en línea, así que necesitarás crear un nuevo Disallow: Directiva para cada patrón de bloqueo. Sin embargo, puede utilizar caracteres comodín. Tenga en cuenta que cada patrón de URL comienza con la barra diagonal, que representa la raíz del sitio actual.
    • También se puede utilizar un permitir: Directiva de archivos almacenados en un directorio cuyo contenido lo contrario será bloqueado.
    • Para más información sobre el uso de comodines y en la creación de directivas Disallow y permitir, consulte el artículo de blog Webmaster centro prevenir un bot de “perderse en el espacio”.
  3. Si desea agregar directivas personalizadas para bots específicos que no son apropiados para todos los robots, como el crawl-delay:, añadirlos en una sección personalizada después de la sección primera, genérica, cambiando la referencia de agente de usuario a un bot específico. Para una lista de nombres bot aplicables, consulte la Base de datos de Robots.
    NOTA
    Agregar conjuntos de directivas personalizadas para bots individuales no es una estrategia recomendada. La típica necesidad de repetir las directivas de la sección genérica complica las tareas de mantenimiento de archivo. Además, omisiones en mantener adecuadamente estas secciones modificado para requisitos particulares son a menudo la fuente de arrastre problemas con robots de motores de búsqueda.

Opcional: Agregar una referencia a su archivo de sitemap (si tiene uno)

  • Si ha creado un archivo de Sitemap listado las páginas más importantes en su sitio, puede señalar el bot a él haciendo referencia en su propia línea en el final del archivo.
  • Ejemplo Un archivo de Sitemap generalmente se guarda en el directorio raíz de un sitio Web. Mapa línea directiva tendría este aspecto:
  • Mapa del sitio: http://www.your-url.com/sitemap.xml

Comprobar errores al validar el archivo robots.txt

Cargar el archivo robots.txt en el directorio raíz de tu sitio

NOTA
  • No necesita presentar el nuevo archivo de robots.txt para los motores de búsqueda. Robots de motores de búsqueda buscan automáticamente un archivo llamado robots.txt en el directorio raíz de tu sitio regularmente y si encuentran, que lea ese archivo para ver que, si los hubiere, directivas corresponden a ellos.Tenga en cuenta que los motores de búsqueda guardar una copia de tu robots.txt por lo menos durante unas horas en la caché, así que cambios pueden tomar unas horas para reflejarse en su comportamiento del gatear.

Comments

comments

Reply

portada-m-seo-2018

Te Regalo mi Libro SEO en 2018

¿Quieres conocer los Factores de Posicionamiento que mandan en 2018?

Si no te dirige a la descarga automáticamente, revisa tu email!