Когда в 737 году умер законный король франков Теодорих IV, Карл Мартелл не назначил ему преемника и стал править сам, не беря себе, впрочем, королевского титула. «Вице-король» или «почти король», именно так называл его папа Григорий III, когда в 739 году умолял его выступить с армией против лангобардов, угрожавших Святой Церкви. Но Карл тогда ответил отказом.
Он управлял тем, что теперь называется Францией, мудро, крепко и справедливо, увеличивая славу, приобретенную им на полях сражений, и покровительствуя распространению христианства среди племен язычников. Не беря не принадлежавшей ему по закону короны в то время, когда он мог легко получить ее, он явил себя истинно великим человеком.
Карл Мартелл умер 22 октября 741 года и был похоронен в Париже, в церкви аббатства Сен-Дени.
От законной супруги Ротруды у него было два сына. Согласно завещанию, старший из них, Карломан, получил Австразию, Швабию и Тюрингию, а младший, Пипин Короткий, – большую часть Нейстрии, Бургундию и Прованс.