Это текстовый файл, должен располагаться в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов (что индексировать, а что нет)