Anasayfa
tarafından scarface Ptsi Ekim 13, 2008 10:18 amİnternette bazı sayfalarını hatta bazen bütün siteyi arama motorlarına kapatan siteler vardır. Bunu robots.txt dosyasını kullanarak yaparlar ve biz de aynı dosyayı kullanarak onların engellediği yazılara ve de bilgilere ulaşabiliriz.
1. Google yi açıyoruz ve “robots.txt” “disallow:” filetype:txt yazarak aratıyoruz.
2. Burada sitelerinde disallow komutunu kullanarak sayfalarını arama motorlarına kapatan siteleri göreceğiz.
1. Google yi açıyoruz ve “robots.txt” “disallow:” filetype:txt yazarak aratıyoruz.
2. Burada sitelerinde disallow komutunu kullanarak sayfalarını arama motorlarına kapatan siteleri göreceğiz.
