O arquivo robots.txt é como se fosse um cardápio que informa o que deverá ser consumido e o que não deverá ser.  É como se fosse um cartão de acesso para os mecanismos de busca, mas caso esse o (Robots.txt) não exista o seu site será vasculhado, isso significa que Mais >