Лучший ответ
Ответы
-
0 0
Xenoid 6 (7341)2821 11 лет
Запретить через файл robots.txt. Подробнее о стандарте исключений для роботов Вы найдёте на википедии.
Пример robots.txt на irc.lv - http://irc.lv/robots.txt
Вопросов: 1276736 Ответов: 8792473, Участников: 369770 |
Xenoid 6 (7341)2821 11 лет
Запретить через файл robots.txt. Подробнее о стандарте исключений для роботов Вы найдёте на википедии.
Пример robots.txt на irc.lv - http://irc.lv/robots.txt