КАКВО ПРЕДСТАВЛЯВА ROBOTS.TXT И КАКВА Е НЕГОВАТА РОЛЯ ?
При прилагането на Robots.txt не се позволява на Google да индексира дадена част от един уеб сайт или цялото му съдържание. Тези страници от платформата, които са ограничени за роботите на Google, не се визуализират в резултатите му от търсенията на потребителите, но информацията в тях си остава достъпна за другите търсачки. Ние от Sky Prime препоръчваме, в случай че желаете да спрете достъпа на други търсещи машини до дадени страници в уеб сайта Ви, да използвате различни методи, създавайки например парола за достъп до тях. Във файла Robots.txt, може да отбележите на търсачките конкретното място на Вашия sitemap.xml, както и на други карти, които имате в платформата, като е желателно URL адресите им да бъдат изписани един под друг. Не трябва да забравяте, че файлът Robots.txt трябва да се намира в главната директория на уеб сайта Ви и да бъде достижим на адрес, както следва www.ДОМЕЙНА.bg/Robots.txt. При съмнения за допуснати грешки във файла, проверка можете да извършите с предназначения за това инструмент, намиращ се в Google Search Console.