Если вы кому-то не подходите, значит, ваши ограничения, особенности видны в этом коллективе или с этим человеком очень хорошо, а ваши достоинства играют несущественную роль. Получается, что вам, такому, как вы есть, не подходит тот контекст, который есть на этой работе или в этих отношениях.