Я пострадаю. Объясните манипулятору, что при выполнении его требований вы сильно пострадаете (вас выгонят с работы, вас лишат чего-то, снизится ваш рейтинг или авторитет и т. п.). Иногда это проходит.