Robots.txt Generator

Alat Bantu SEO

Robots.txt Generator


Default - Semua Robot:  
    
Crawl-Delay:
    
Sitemap: (Biarkan kosong jika anda tidak punya) 
     
Search Robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Direktori Terlarang: The path is relative to root and must contain a trailing slash "/"
 
 
 
 
 
 
   



Sekarang, buat file 'robots.txt' pada root directory anda. Copy teks diatas dan paste pada fiel teks 'robots.txt'


Tentang Robots.txt Generator

Robots.txt adalah sebuah file teks dalam bentuk ekstensi .txt yang memberikan perintah atau instruksi kepada setiap bot atau robot dari Search Engine yang mampir di website kita tentang bagaimana seharusnya bot-bot tersebut melakukan crawling terhadap website kita. File robot.txt adalah salah satu bagian dari robots exclusion protocol (REP) yang memberikan aturan pada robot untuk mindex atau deindex, crawling, allow atau disallow, dofollow atau nofollow sampai pada bagaimana menyajikan konten website ke pengguna. Contoh isi dari file robot.txt sebagai berikut:

# robots.txt dibuat oleh alatbantuseo.com
User-agent: *
Disallow:
Crawl-delay: 10
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /upload/
Sitemap: https://alatbantuseo.com/sitemap.xml