С другой стороны, если бы уходить было некуда и не к кому, то он вряд ли бы на такой шаг вообще решился. Поэтому в значительной степени мужчина уходит именно «к».