El documento robots.txt es un elemento clave para la sitio que busca estar bien indexada por los motores de búsqueda como Google . Sirve como una instructivo para los bots, indicándoles qué áreas de tu plataforma pueden están rastreadas y cuáles evitar. Una correcta configuración de este documento ayuda a solucionar problemas de rastreo , me