Explorar o código

block crawlers

lolcat hai 3 semanas
pai
achega
e4ce351b37
Modificáronse 1 ficheiros con 8 adicións e 1 borrados
  1. 8 1
      robots.txt

+ 8 - 1
robots.txt

@@ -13,4 +13,11 @@
 #           44
 
 User-agent: *
-Disallow:
+Disallow: /web
+Disallow: /images
+Disallow: /videos
+Disallow: /news
+Disallow: /music
+Disallow: /proxy
+Disallow: /api/v1/ac
+Allow: /