El documento robots.txt es una herramienta fundamental para el alcance de tu estrategia SEO, ya que controla cuáles buscadores web pueden indexar tu página web . Mediante este simple método , puedes restringir que se rastreen secciones irrelevantes de tu sitio web , conservando recursos y asegurando