Файл robots.txt создается исключительно для поисковых роботов (ботов). В нем вы можете указать какие директории сайта следует запретить для индексации, так же можно запретить к индексации весь сайт. robots.txt необходимо поместить в корневую директорию сайта, чтобы он был доступен по адресу http://ваш_сайт.ru/robots.txt.
Что следует запрещать к индексации? Все просто! Необходимо запретить все папки и страницы сайта, которые не должны появляться в результатах поисковых систем. Например это может быть диретория с картинками, схема проезда, форма контактов и т.д.