Membuat robot.txt di wordpress

Bagi pengguna wordpress ada banyak sekali fitur yang bisa dimanfaatkan untuk optimasi. Mulai dari pengaturan yang semakin mudah dan tentunya berbagai macam kelebihan dalam hal SEO lainnya. Bagi anda yang masih menginginkan berbagai macam pengaturan dalam proses indexing google bisa anda lakukan lewat robot.txt. Robot.txt ini bisa anda gunakan sebagai acuan bagian mana saja yang boleh diindex/ dirayapi google dan nama yang tidak. Hal ini juga berguna bagi anda yang masih mempunyai bandwidth pas-pasan atau memang blog anda yang sudah sangat ramai dan menginginkan untuk melakukan penghematan bandwidth hosting.

Robots.txt adalah sebuah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar diindex oleh spider mesin pencari, atau untuk mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine.

Dalam settingan asli  blog atau web yang tidak ada file robots.txt maka akan memberikan informasi pada Search Engine bahwa seluruh bagian dari blog atau situs dapat dijelajahi dan dimasukkan dalam index-nya. Dan tidak semua bagian sebuah blog atau web itu perlu didatangi search engine, sebagai contoh untuk pengguna wordpress  dengan hosting sendiri bagian folder atau direktori wp-admin,  wp-content/cache, wp-content/plugins, wp-includes dll tidak perlu diindex, karena tidak ada gunanya, sebaliknya kalau direktori tersebut ikut diindex malah akan merugikan karena akan boros bandwidth dan juga mungkin mengandung data-data penting yang tidak boleh jadi konsumsi publik.

Dengan memblokir direktori atau file tertentu yang memang tidak perlu diindex, ini juga salah satu cara agar blog atau website menjadi lebih SEO, kenapa bisa begitu, karena waktu yang dibutuhkan search engine saat mendatangi blog kita tidaklah lama. Jadi dengan dicegahnya search engine merayapi direktori tertentu maka kesempatan mesin pencari untuk merayapi dan mengindex seluruh konten atau halaman web yang memang perlu ditampilkan (diindex) menjadi lebih besar (lebih diprioritaskan).

Sebagai Contoh anda bisa menggunakan setting seperti ini :

User-agent: Googlebot

Disallow: /*.php$

Disallow: /*.js$

Disallow: /*.inc$

Disallow: /*.css$

Disallow: /*?*

Disallow: /*?

Setting ini akan mencegah search engine untuk merayapi dan mengindex file php, javascript, css dll. Contoh lainnya :

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/
Disallow: /author/
Disallow: /comments/
Disallow: /category/

Sitemap: http://domainanda.com/sitemap.xml
Sitemap: http://domainanda.com/sitemap.xml.gz

Setting ini akan mencegah search engine untuk merayapi dan mengindex direktori cgi-bin, wp-admin, wp-includes dll beserta seluruh file yang ada di dalam direktori tersebut. Jika anda menggunakan plugin Google XML Sitemap Generator bagian paling akhir dari file robots.txt bisa ditambahkan kode ini : Sitemap: http://domainanda.com/sitemap.xml dan Sitemap: http://domainanda.com/sitemap.xml.gz

Cara membuat file robots.txt :

1. Buka Program Notepad anda.
2. Masukkan setting atau parameter-parameter file robots.txt yang diinginkan, contoh yang saya gunakan untuk blog ini bisa dilihat di sini.
3. Simpan dengan nama robots.txt.
4. Upload file tersebut ke root direkori wordpress bisa lewat Cpanel atau FTP.
5. Cara lainnya login ke Cpanel ~ klik File Manager, klik public_html, klik Icon New File (atas kiri), pada kotak New File Name : beri nama file  “robots.txt” (tanpa tanda petik) terus klik create New File.
6. Kemudian buka file robots.txt tersebut, masukkan parameter-parameter settingan yang diinginkan. Kemudian simpan.

Jangan lupa validasi hasil pembuatan file robots.txt anda dengan mengunjungi link ini Robots.txt Checker, dan masukkan url file robots.txt anda (contoh http://namadomain.com/robots.txt) pada kotak yang tersedia kemudian lihat hasilnya apakah file robots.txt anda sudah benar-benar valid, jika masih banyak error di disana anda akan diberi informasi dimana letak erornya.