dijital

Robots.txt

Robots.txt dosyası nedir? Robots.txt, web yöneticilerinin web robotlarına (genellikle arama motoru robotları) web sitelerindeki sayfaların nasıl taranacağını bildirmek için oluşturdukları…