Kaynağa Gözat

block crawlers

lolcat 3 hafta önce
ebeveyn
işleme
e4ce351b37
1 değiştirilmiş dosya ile 8 ekleme ve 1 silme
  1. 8 1
      robots.txt

+ 8 - 1
robots.txt

@@ -13,4 +13,11 @@
 #           44
 
 User-agent: *
-Disallow:
+Disallow: /web
+Disallow: /images
+Disallow: /videos
+Disallow: /news
+Disallow: /music
+Disallow: /proxy
+Disallow: /api/v1/ac
+Allow: /