Потому что именно так устроена наша память: откладывается в нее только то, что вызывает какие-то ассоциации.
