Agora, crie o arquivo 'robots.txt' em seu diretório raiz. Copie o texto acima e cole no arquivo de texto.
Robots.txt Generator | W7SEO