Роботою ГУДБ керував сам нарком внутрішніх справ СРСР Ягода . До складу ГУДБ НКВС увійшли основні оперативні підрозділи колишнього ОДПУ СРСР: особливий відділ (контррозвідка)
Як правило, на чолі народного комісаріату стояв народний комісар (нарком), який входив до уряду – Ради народних комісарів відповідного рівня.
НКВС очолював М. І. Єжов. З листопада 1938 до 1945рр.
У січні 1928 року наркомом внутрішніх справ РРФСР призначено Володимира Миколайовича Толмачова. Апарат наркомату на 19 березня 1930 року складався з колегії, управлінь міліції, справами та адміністративного, відділів: організаційно-розпорядчого, карного розшуку, фінансового.