Как только о вас говорят другие, то у вас автоматически должна выскакивать мысль: «А что он обо мне знает?» И оскорбление отскочит от вас, как мячик от стены.
А если супруг не в духе и вздумал сорвать свою злость на вас, то здесь сразу переведите разговор с личности на предмет.