С помощью инструмента robots.txt, представляющего собой инструкцию для поис-ковых роботов, вы можете управлять их поведением: установить запрет на ска-чивание страниц, указать главный адрес сайта, до-бавить карту сайта