Тем не менее Бутурлин имел при дворе большое влияние. Его принимал император, им была очарована цесаревна. И у более стойкого человека могла закружиться голова. Формальная ссора с фаворитом Петра II, молодым князем Иваном Долгоруким, резко изменила судьбу Александра. Бутурлину «отказывают от двора» и направляют в действующую армию, точнее, в ее украинское расположение. Елизавета очень переживала разлуку с «сердечным другом» и, по словам современников, часто беспричинно плакала. Правда, это продолжалось не слишком долго. В 1731 – 1733 гг. бывший фаворит отважно защищал восточные границы империи от кочевников. За безупречную службу и рвение он через два года был назначен губернатором Смоленска.