7 червня 1934 року начальник IV Управління (розвідувального) Штабу РСЧА Берзін, куди входила у той час військова дешифрувальна служба, представив наркому з військово-морських справ, голові РВР маршалу Ворошилову доповідь про дешифрувально-розвідувальну службу (ДРС):

«Шифродокументи поступають від 52 країн, проте розробляються спільно із Спеціальним відділом при ОДПУ як тільки документи 22 країн… За 1933 р. при напруженій роботі часом за рахунок передчасного зносу розумових та фізичних сил працівників ДРС розроблено тільки 42% матеріалів, що є для розробки. 58% іноземних шифрованих документів, що можуть дати цінну додаткову інформацію, залишилися необробленими через нестачу кадрів».

У доповіді було висловлено прохання про посилення служби кадрами, зокрема пропонувалося збільшити чисельність кадрового складу на 10 чоловік і перевести 16 чоловік вільнонайманих у адміністративний склад. Не зважаючи на скромність прохань, викладених у доповіді Берзіна, вони не були у 1934 році задоволені, тому відділ продовжував працювати в колишньому чисельному складі.

У 1933 році шифрувальники Спецвідділу при ОДПУ працювали у великій кімнаті на 4-му поверсі обширної будівлі колишньої страхової компанії на вулиці «Лубянка» в Москві. А дешифрувальники займали верхній поверх колишньої будівлі НКЗС на розі вулиць «Лубянка» і «Кузнецкий мост». Той факт, що нижні поверхи будівлі відвідувалися приватними особами і членами дипломатичного клубу, використовувався для маскування.

10 липня 1934 року ОДПУ увійшло до складу НКВС як Головне управління державної безпеки (далі – ГУДБ), а його регіональні органи увійшли до складу регіональних управлінь НКВС. Згідно з цим Спецвідділ ОДПУ був реорганізований у Спецвідділ ГУДБ НКВС.

22 листопада 1934 року було оголошено Ухвалу ЦВК і РНК СРСР про затвердження Положення про Народний комісаріат оборони (далі – НКО), згідно з яким у його склад увійшло Розвідувальне управління (далі – РУ), що раніше входило до складу штабу РСЧА. 15 грудня 1935 року був змінений і затверджений новий штат РУ РСЧА, згідно з яким 5-ий (дешифрувальний) відділ став 7-м відділом, а 1-а (шифрувальна) частина стала таємно-шифрувальним відділенням (іноді іменувалося відділенням «Ш»). Чисельність 7-го відділу складала 53 особи і 5 осіб постійного складу було виділено на Центральні курси ДРС.

Начальником 7-го відділу з лютого 1936 року по лютий 1939 року був полковник Харкевич, а його заступником – майор Звонарьов, який досконало володів чотирма іноземними мовами, трьома європейськими і японською. Начальником відділення «Ш» з січня 1935 року по листопад 1937 року був полковий комісар Озолін, а з вересеня 1938 року по травень 1939 року – майор Микола Олександрович Філатов.

У 1935 році за виконання спеціального завдання командування Звонарьов був нагороджений іменним золотим годинником наркома оборони, а у 1936 році – орденом Червоного Прапора. Річ у тому, що фахівці ДРС спільно з фахівцями Спецвідділу розкрили у жовтні 1935 року японський дипломатичний код, про що доповіли начальнику Розвідувального управління РСЧА С.Г.Урицькому. Останній написав рапорт заступнику наркома Гамарнику, а він, враховуючи важливість події, розпорядився доповісти про це особисто наркому Ворошилову. Ось доповідь Урицького Ворошилову:

«15 жовтня п. р. японський уряд відхилив свій основний код і ввів замість нього новий. Виникла загроза не мати інформації про військові заходи Японії щодо лінії дешифрування японських шифротелеграм у потрібний момент. Помічник начальника… відділу РУ РСЧА т. Звонарьов Б. В. спільно з працівниками його підрозділу тт. Шунгським, Калініним, Мильниковим і працівниками Спецвідділу ГУДБ НКВС тт. Єрмолаєвим і Єрмаковою у мінімально короткий термін, у 6 днів, розкрили вказаний код і забезпечили безперебійне розшифрування японських шифротелеграм. Ці результати досягнуті завдяки систематичній підготовці т. Звонарьовим свого підрозділу до виконання завдань, що стоять перед ним. Безпосередньо при розкритті коду особливо важливу роль зіграли тт. Звонарьов і Шунгський. Клопочу про нагородження цінними подарунками… т. Звонарьова Б. В. і фахівців тт. Шунгського, Калініна і Мильникова…»

На цьому рапорті нарком оборони наклав резолюцію: «Нагородити т. Звонарьова золотим годинником, а решту тт. срібними (хорошими) годинниками. К.В. 27.ХІ.35 р.».

У 1935 році шифрувальники та дешифрувальники Спецвідділу переїхали в нову будівлю на вулиці імені Фелікса Дзержинського. Шифрувальний відділ був розділений на декілька відділень, які займалися забезпеченням секретного зв'язку з регіональними управліннями секретної поліції, з її прикордонними частинами і військовими формуваннями, з адміністраціями в'язниць і таборів, з нелегальною закордонною агентурою і з «легальними» резидентурами за кордоном.

За секретний зв'язок з «легальними» резидентурами відповідало 6-е відділення. Його начальник з прізвищем Козлов був знятий з посади під час репресій у 1937 році. А після того, як наступник Козлова був відправлений шифрувальником до США, начальником 6-го відділення стала людина, чиє ім'я придбало згодом скандальну популярність. Це був Володимир Петров, який у 1954 році разом з дружиною Євдокією отримав політичний притулок в Австралії.

Дешифрувальний відділ був розділений на відділення за географічним і мовним принципом – китайське, японське, англо-американське і так далі. Майбутня пані Євдокія Петрова (Дуся), яка протягом двох років вивчала японську мову в московській спецшколі, працювала в японському відділенні. її колегами по роботі були:

– Віра Плотнікова, дочка професора японської мови, яка протягом багатьох років була резидентом японської розвідки у Москві;

– Галина Підпалова, настільки закохана у все японське, що, прийшовши додому, вона незмінно одягалася в кімоно;

– Іван Калінін, який час від часу запрошувався як консультант;

– професор Шунгський – головний авторитет відділення з питань японської мови, який служив ще в царській армії.

У 1938 році була проведена чергова реорганізація НКВС. В результаті для ведення шифрованого листування у його структурі 9 червня був утворений 3-й спецвідділ, начальником якого став капітан держбезпеки Олександр Дмитрович Баламутов. 29 вересня Спецвідділ ГУДБ НКВС був перейменований у 7-й відділ начальником якого став той же Баламутов. У 1939 році до складу 7-го відділу ГУДБ НКВС було переведене дешифрувальне відділення Розвідувального відділу НКВМФ СРСР, яке було утворене у 1938 році. 9 квітня 1939 року начальником 7-го відділу був призначений капітан держбезпеки Олексій Іванович Копитцев. Станом на 1 січня 1940 року у складі 7-го відділу працювало 230 осіб.

У травні 1939 року був реорганізований і секретно-шифрувальний відділ НКЗС. Шифрувальний відділ був виділений з нього як самостійний відділ з безпосереднім підпорядкуванням заступнику наркома та перейменований у 10-й відділ НКЗС. Найменування посади «шифрувальник» було скасовано та були введені посадові назви «референт», прийняті в оперативних відділах НКЗС.

19 липня 1939 року відповідно до Постанови Комітету Оборони СРСР 8-й відділ ГШ РСЧА був перейменований у Відділ шифрувальної служби і включений на правах самостійного структурного підрозділу до складу Оперативного управління ГШ РСЧА.

У 1939 році у зв'язку з реорганізацією 5-го (розвідувального) Управління НКО шифрувальне відділення стало 9-м відділом, а 7-й (дешифрувальний) відділ став 11-м відділом. Начальником 9-го відділу до жовтня 1939 року був Філатов, а з жовтня 1939 року став майор Леонтій Сергійович Пілєвін. Начальником 11-го відділу з жовтня 1939 року став Філатов.

Наказом НКО СРСР №0038 від 26 липня 1940 року 5-е (розвідувальне) Управління НКО увійшло до складу Генерального штабу (далі – ГШ) Червоної Армії (далі – ЧА) і почало називатися РУ ГШ ЧА. У його складі залишився 9-й (шифрувальний) відділ (начальник – майор Пілєвін), а 11-й (дешифрувальний) відділ став 10-м відділом (начальник – полковник Філатов). 18 серпня 1941 року на базі Відділу шифрувальної служби Оперативного управління ГШ ЧА було створено Управління шифрувальної служби ГШ ЧА загальною чисельністю 197 військовослужбовців і 50 службовців.

Указом Президії Верховної Ради (далі – ПВР) СРСР від 3 лютого 1941 року зі складу НКВС був виділений наркомат державної безпеки (далі – НКДБ). Шифрувально-дешифрувальна справа перейшла до 5-го відділу НКДБ, начальником якого став майор держбезпеки Копитцев. Для ведення шифролистування у складі НКВС наказом №00198 від 22 лютого 1941 року було організовано 6-е відділення, начальником якого став Солодянніков.

Після початку Вітчизняної війни Указом ПВР СРСР від 20 липня 1941 року НКВС і НКДБ були знов об'єднані в єдиний НКВС. Шифрувально-дешифрувальна справа перейшла до 5-го спецвідділу НКВС, начальником якого став майор держбезпеки Іван Григорович Шевельов, а його заступником – старший майор держбезпеки Копитцев. Спецвідділ станом на 20 травня 1942 року мав за штатом 683 одиниці та складався з 16 відділень, завдання яких були такими:

– 1—8 – дешифрувально-розвідувальна робота закордоном;

– 9 – складання, дослідження та друкування кодів для НКЗС, НКВТ, НКВС, НКО і НКВМФ;

– 10 – складання та друкування блокнотів для НКО, НКВМФ, НКВС, НКЗС, НКВТ;

– 11 – здійснення шифрозв'язку оперативно-чекістських управлінь і відділів НКВС; зашифрування та розшифрування телеграм, облік і постачання шифродокументів периферійним органам НКВС і їх інструктаж щодо шифрроботи;

– 12 – здійснення шифрозв'язку таборів НКВС, прикордонних, внутрішніх і оперативних військ НКВС, Прокуратури, Військової колегії Верховного суду СРСР;

– 13 – здійснення шифрозв'язку закордонної резидентури 1-го Управління НКВС;

– 14 – оперативно-чекістське обслуговування шифрорганів наркоматів і інших установ;

– 15 – перевірка та допуск осіб, що працюють з секретними, мобілізаційними та шифрувальними документами в установах і підприємствах; спецперевірка особового складу, що працюють на особливо режимних підприємствах.

16 лютого 1942 року наказом НКО №0033 РУ ГШ ЧА було реорганізоване в Головне РУ (далі – ГРУ), а 23 вересня наказом НКО №00222 з метою концентрації зусиль щодо «розкриття» шифролистування супротивника дешифрувальна служба ГРУ була передана до 5-го спецвідділу НКВС. 3 листопада наказом НКВС №002424 на базі 5-го спецвідділу, до якого увійшли 7-й відділ (дешифрувальний) 2-го Управління ГРУ та частини спецслужби внутрішніх військ НКВС (радіорозвідка) було утворено 5-е Управління НКВС. Його начальником став старший майор держбезпеки Шевельов, а його заступником – комісар держбезпеки Копитцев.

Ще у квітні-травні 1941 року в криптослужбу НКВС було мобілізовано близько 50 молодих учених з Московського державного університету (далі – МДУ) – математиків і фізиків, а також випускників Військової академії зв'язку. Вони не тільки змогли швидко знайти в ній своє місце, але й привнесли в криптоаналітичну роботу нові ідеї. Якщо «старі» фахівці уміли копітко, крок за кроком накопичувати інформацію про ключ шифру супротивника, то математики, аналізуючи логіку побудови лише частково відомого ключа, знаходили алгоритми його істотного поповнення. Інженери і фізики почали створювати та впроваджувати в аналіз шифрів допоміжну техніку. Ці два чинники сприяли здійсненню якісного стрибка в розкритті ключів вермахту, що часто мінялися.

У грудні 1942 року на базі Школи особливого призначення 5-го Управління НКВС і 3-го учбового відділення Вищої школи Генштабу була організована Спеціальна школа 5-го Управління НКВС у складі двох відділень з 10-місячним терміном навчання. Перше відділення цієї школи готувало кадри криптоаналітиків для дешифрування військового листування, а друге відділення – дипломатичного листування.

У роки Вітчизняної війни криптопідрозділи дешифрувальної служби поповнювалися в основному за рахунок тих, що закінчили Спеціальну школу 5-го Управління НКВС, в якій було підготовлено багато провідних фахівців. Отримувані в школі спеціальні і мовні знання дозволяли її випускникам швидко включатися в роботу з криптоаналізу та дешифрування. Спеціальна школа, а також ряд криптопідрозділів, що знаходилися в Уфі, підпорядковувалися Копитцеву. Частини спеціальної служби військ НКВС здійснювали ведення радіорозвідки. На них покладалися завдання розвідки ефіру, здійснення радіоперехоплення, шифрованого радіолистування, попередньої обробки цих даних з радіомереж і окремих радіоточок.

У складі 5-го Управління була також утворена Криптографічна Рада для організації і координації наукових досліджень і підготовки наукових кадрів у спецслужбі (за роки війни розглянула більше 60 питань і проблем за основними напрямами спеціальної роботи).

14 квітня 1943 року у зв'язку з наближенням радянських військ до кордонів СРСР рішенням Політбюро ЦК ВКП (б) № П 40/91 «Про утворення НКДБ СРСР» і ухвалою РНК СРСР №393—129сс зі складу НКВС знову був виділений НКДБ. Шифрувально-дешифрувальна справа та спецзв'язок перейшли до 5-го Управління НКДБ. Його начальником став комісар держбезпеки Шевельов, а його заступниками – комісар держбезпеки Копитцев і старший майор держбезпеки Сергій Вікторович Покотіло.

Для ведення шифролистування у складі НКВС наказом №00776 від 28 квітня 1943 року був утворений 2-й спецвідділ, начальником якого став підполковник держбезпеки А. Воробйов, а з 1944 року по 21 березня 1949 року був підполковник В. Романов. Станом на 1 квітня 1945 року спецвідділ мав по штату 52 одиниці, а в наявності – 49 осіб. 3 травня 1949 року наказом МВС №544 начальником спецвідділу був призначений колишній заступник начальника Управління кадрів МВС полковник І.І.Філаткін.

Закінчення Другої світової війни та зміни у світовому геополітичному становищі підштовхнула радянський уряд до реорганізації органів влади та державної безпеки. Так, 15 березня 1946 року 5-а сесія Верховної Ради СРСР прийняла Закон про перетворення Ради Народних Комісарів СРСР в Раду Міністрів СРСР, а народних комісаріатів – у міністерства.

Таким чином, НКВС перетворився у МВС, НКДБ – МДБ, НКЗС – МЗС, НКО – МО тощо. Наказом НКДБ №00107 від 22 березня 1946 року 5-е (шифрувально-дешифрувальне) Управління НКДБ стало 6-м Управлінням МДБ. Його начальником став генерал-лейтенант Шевельов, а його заступником – генерал-майор Копитцев.

20 серпня 1946 року Рішенням Політбюро ВКП (б) була затверджена нова концепція структури держбезпеки та її напрямків діяльності. Вона припускала подальший розподіл органів держбезпеки та створення незалежних та конкуруючих між собою спецслужб, причому Секретаріат ЦК ВКП (б) виступав у цій схемі як арбітр. На виконання даної концепції у травні 1947 року на базі 1-го ГУ МДБ і ГРУ ГШ ЗС було утворене нове розвідувальне відомство – Комітет Інформації при Раді Міністрів СРСР, який проіснував до 1951 року. До його складу увійшов і дешифрувальний відділ ГРУ ГШ ЗС, який був реорганізований у 7-е Управління Комітету Інформації.

19 жовтня 1949 року Постановою Політбюро ЦК ВКП (б) № П71/426 було прийнято найважливіше для радянської криптології рішення. Вся шифрувально-де-шифрувальна робота з МДБ передавалася до ЦК ВКП (б) і, відповідно, 6-е Управління МДБ ліквідовувалось. Це було оформлено наказом МДБ №00369 від 15 листопада, а у складі ЦК ВКП (б) було створено Головне управління спеціальної служби (далі – ГУСС). Його начальником став генерал-лейтенант Шевельов, а начальником 1-го Управління (дешифрувально-інформаційного) – генерал-майор Копитцев.