Explorar el Código

block crawlers

lolcat hace 3 semanas
padre
commit
e4ce351b37
Se han modificado 1 ficheros con 8 adiciones y 1 borrados
  1. 8 1
      robots.txt

+ 8 - 1
robots.txt

@@ -13,4 +13,11 @@
 #           44
 
 User-agent: *
-Disallow:
+Disallow: /web
+Disallow: /images
+Disallow: /videos
+Disallow: /news
+Disallow: /music
+Disallow: /proxy
+Disallow: /api/v1/ac
+Allow: /