Thursday, April 26, 2012
Bagi sobat yang sudah terbiasa dengan WordPress (org/self hosted) tentunya sudah sangat akrab dengan Robots.txt. Dengan robots.txt kita dapat melakukan berbagai macam kostumisasi perintah untuk mengizinkan/tidak mengizinkan robot crawler search engine melakukan crawl terhadap direktori atau halaman tertentu. Robots.txt WordPress sebenarnya adalah virtual dan bukan file fisik sebenarnya,