Есть две причины, побуждающие вас париться по поводу чужого мнения: во-первых, вы не хотите быть плохим человеком и, во-вторых, не хотите выглядеть плохим человеком.
Разумеется, вам не должно быть все равно, если речь идет о чувствах окружающих (достаточно задать вопрос: вы заденете чьи-то чувства, отмахнувшись от сложившейся ситуации?). Но скажите честно: ведь вы сами прекрасно знаете, когда раните чьи-то чувства. Просто не будьте засранцами.