Răsfoiți Sursa

block crawlers

lolcat 3 săptămâni în urmă
părinte
comite
e4ce351b37
1 a modificat fișierele cu 8 adăugiri și 1 ștergeri
  1. 8 1
      robots.txt

+ 8 - 1
robots.txt

@@ -13,4 +13,11 @@
 #           44
 
 User-agent: *
-Disallow:
+Disallow: /web
+Disallow: /images
+Disallow: /videos
+Disallow: /news
+Disallow: /music
+Disallow: /proxy
+Disallow: /api/v1/ac
+Allow: /