Mesin Sensor Internet milik Indonesia berjalan di atas sistem Domain Name System (DNS) Crawling, yakni seperti seorang 'mata-mata' yang bertugas merayap di dunia maya untuk mencari target konten yang telah ditetapkan. Dalam laman How Stuff Works menjelaskan, DNS Crawling merupakan semacam bot internet atau robot yang bisa beroperasi secara sistematis menjelajahi World Wide Web. Secara umum penggunaannya dipakai untuk penjelajahan situs atau konten.

 

Robot bekerja dengan mencari situs atau konten dengan menggunakan perangkat lunak 'spider', yakni bersifat mata-mata atau mengintai. Proses perayapan dimulai dengan menyalin halaman untuk kemudian diproses oleh mesin pencari. Dengan sifat mata-mata tersebut robot bisa masuk ke dalam sebuah website tanpa persetujuan. Sebuah mekanisme juga terdapat dalam robot tersebut. Misalnya, ketika masuk ke dalam sebuah situs publik biasanya bisa diminta untuk melakukan crawling pada sebagian konten situs saja.

 

Meski ditopang dengan Artificial Intelligence (AI) atau kecerdasan buatan, sebuah mesin crawler tetap lemah menghadapi jumlah website di dunia yang terlampau amat besar. Bahkan, crawler terbesar di dunia diketahui gagal menghasilkan indeks secara lengkap sekitat 18 tahun lalu.

 

Mesin crawler tetap memberikan hasil relevan tetapi tidak mampu mendeteksi secara keseluruhan. Mesin pengais bisa memvalidasi hyperlink dan kode HTML. Selain itu juga digunakan untuk pemgrograman berbasis data.

Ikuti Whatsapp Channel Republika