Не надо объяснять причину отказа или придумывать оправдание. Однако ответить нужно. «Спасибо за приглашение. Сожалею, что не смогу прийти», – этого достаточно.