El documento robots.txt es un elemento fundamental para la página web que desea aparecer bien vista por los buscadores como Chrome . Funciona como un directorio para los rastreadores , indicándoles qué áreas de tu plataforma pueden están rastreadas y cuáles evitar. La óptima configuración de este archivo ayuda a evitar problemas de posicion