Semua mesin pencari terkemuka menggunakan crawler untuk mengetahui halaman hasil pencarian algoritmik mereka. Laman yang jasa backlink ditautkan dari halaman indeks mesin pencari lainnya tidak perlu diajukan karena ditemukan secara otomatis. Beberapa mesin pencari seperti Yahoo! Mengoperasikan layanan pengiriman berbayar yang menjamin perayapan untuk biaya set atau biaya per klik. Jenis program ini biasanya menjamin penyertaan dalam database, namun tidak menjamin peringkat tertentu dalam hasil pencarian. Oleh karena itu program yahoos telah dikritik oleh pengiklan dan kompetitor. Dua direktori utama, Direktori Yahoo dan proyek direktori terbuka memerlukan pengajuan manual dan tinjauan editorial manusia. Google menawarkan Alat Webmaster Google, yang umpan XML Sitemap dapat dibuat dan dikirimkan secara gratis untuk memastikan bahwa semua halaman ditemukan, terutama halaman yang tidak dapat ditemukan dengan secara otomatis mengikuti tautan. Perayap mesin pencari memerlukan banyak hal untuk dipertimbangkan saat merayapi situs. Tidak setiap halaman diindeks oleh search engine. Jarak halaman dari direktori akar situs mungkin juga menjadi faktor apakah halaman dijelajahi atau tidak.
Untuk menghindari konten yang tidak diinginkan di indeks pencarian, webmaster dapat menginstruksikan spider untuk tidak merayapi file atau direktori tertentu melalui file robot.txt standar di direktori akar domain. Selain itu, halaman dapat secara eksplisit dikecualikan dari database mesin pencari dengan menggunakan mete tag yang spesifik untuk robot. Saat mesin pencari mengunjungi sebuah situs, robots.txt yang terletak di direktori root adalah file pertama yang dirayapi. File robots.txt kemudian diurai, dan akan menginstruksikan robot untuk halaman mana yang tidak dijelajahi. Sebagai crawler mesin pencari mungkin menyimpan salinan cache dari file ini, mungkin pada saat merayapi halaman yang tidak diharapkan oleh webmaster dirayapi. Laman yang biasanya dicegah untuk dirayapi mencakup laman khusus masuk seperti keranjang belanja dan konten khusus pengguna seperti hasil penelusuran dari penelusuran internal. Pada bulan Maret 2007, Google memperingatkan para webmaster bahwa mereka seharusnya mencegah pengindeksan hasil pencarian internal karena halaman tersebut dianggap sebagai pencarian spam.
Hal lain dalam layanan seo penting dan itu adalah perawatan spam. Spammer yang sama sibuk membangun kembali tautan dari mana saja mereka dapat menemukannya, termasuk beberapa jaringan terburuk di dunia. Spam dapat dikirim dari situs senjata, kasino, direktori link dan banyak situs penting lainnya untuk Anda. Ini adalah masalah yang paling umum dan sebagian besar waktu para spammer menyamar sebagai pengguna yang sah. Salah satu bentuk komentar dan ping balik spam yang paling umum saat ini adalah frase singkat atau pertanyaan singkat yang agak halus dan tidak jelas yang setidaknya tidak mengandung spam, setidaknya dengan nilai nominal. Para spammer yang lebih canggih telah berkembang dari keadaan lama seperti postingan bagus dan blog yang bagus, hingga hal-hal yang lebih licik seperti pertanyaan (di mana saya bisa mendownload tema Anda?) Dan menarik sifat Anda yang membantu (saya mengalami masalah berlangganan RSS feed Anda). Oleh karena itu sangat penting bagi para webmaster untuk mencegah pengindeksan hasil pencarian internal karena halaman ini dianggap sebagai pencarian spam.
Untuk lebih jelasnya silahkan kunjungi http://www.123-seo.com
