Трифонов был тоже свободен от предрассудков. После Гражданской войны он воссоединился с Татьяной Александровной Словатинской и ее дочерью от первого брака, Евгенией Лурье. Несколько лет спустя он ушел от матери к дочери, а в 1925 году у Евгении родился сын Юрий. Татьяне Александровне было пятьдесят шесть лет, Валентину тридцать семь, Евгении двадцать один. Они продолжали жить вместе. Татьяна Александровна работала заведующей приемной ЦК, Валентин – председателем Военной коллегии Верховного суда.