«Он нервировал меня», а в оригинале he was baiting me – поддразнивал, искушал, в данном случае – старался вызвать на разговор.