Читайте книгу одновременно с прослушиванием: эффект будет такой же, как от просмотра фильма с субтитрами.
Один мой знакомый переводчик считает, что люди, знающие несколько языков, должны читать книги на каждом из них по очереди. Сначала на одном, потом на другом и т. д. Именно переход с языка на язык помогает оставаться в тонусе и лучше усваивать лингвистическую информацию.