За предшествующие годы и некоторое время после утверждения нацистов, Абвер возглавляли четыре человека: генерал-майор Ф. Гемпп (1919–1927), полковник Г. Швантес (1928–1929), полковник Ф. Бредов (1929–1932), вице-адмирал К. Патциг (1932–1934). Расцвет, а позднее и упадок его деятельности пришелся на 1935–1944 гг., когда шефом был Вильгельм Канарис. После заката «звезды» сухопутного адмирала, менее полугода во главе хиреющего и еще вчера могущественного диверсионно-разведывательного и контрразведывательного монстра рейха стоял полковник Г. Ханзен.
Сорокавосьмилетний капитан 1-го ранга Канарис был уже в предпенсионном возрасте, когда его пригласили в Берлин и предложили занять пост в пока еще малозаметном подразделении разведки и контрразведки имперского Военного министерства. В должность Канарис вступил 1 января 1935 г. Возглавив Абвер, он предпринял решительные шаги по усовершенствованию не только организационно-штатного построения разведывательно-контрразведывательных органов в Вермахте и ВМФ, их территориальных структур внутри рейха, но и далеко за его пределами. Теперь, кроме специфических военных вопросов, разведывательную работу, в первую очередь за пределами Германии, используя преимущество в наличии твердых агентурных позиций, Абвер стремился вести по всем направлениям, изучая состояние экономики стран потенциальных противников, их политическое положение, морально-психологические настроения различных слоев общества и т. д. Тогда же между Абвером с одной стороны и СД и гестапо с другой все чаще стали возникать трения. Касались они не только вопросов разведки и контрразведки, но, главное, лидерства среди нацистских спецслужб. Периодически заключались перемирия в виде «Принципов сотрудничества между гестапо и филиалами Абвера в составе Вермахта», «Десяти заповедей» (регламентировали взаимоотношения Абвера и СД) и др., но длились они недолго, трансформировавшись вскоре в скрытое противостояние, а в конечном итоге в открытую схватку, закончившуюся для Канариса и его ведомства полным крахом…
За короткое время небольшой и малозаметный Абвер быстро разросся до огромных размеров. Уступая по численности гестапо и СД, он не был обижен: к концу 1942 г. в его центральном аппарате и многочисленных подразделениях, по разным данным, работало от 25 до 30 тыс. человек, из них 8 тыс. были кадровыми офицерами. Все они имели армейские звания с добавлением слова «Абвера». Главные же силы военной разведки и контрразведки крылись в разбросанной по всему миру широкой агентурно-осведомительской и диверсионной сети.
Отпали для Абвера и все финансовые ограничения. Предстоящая мировая война требовала невиданных до сего нестандартных действий, огромных средств и специально подготовленных кадров. Звездный час для Канариса и его детища наступил в 1938 г., после ухода в отставку военного министра и главнокомандующего бывшего Рейхсвера фельдмаршала Вернера фон Бломберга. Взамен военного министерства было создано Верховное главнокомандование Вермахта (ОКВ), а власть над вооруженными силами рейха сконцентрировалась в руках Гитлера. Штаб ОКВ возглавил генерал Вильгельм Кейтель. Абвер (читай – Канарис) стал подчиняться только двум лицам – фюреру и начальнику штаба ОКВ. Также было положено начало вседозволенности, непогрешимости и, казалось, непотопляемости Абвера. Однако дальнейшие события засвидетельствовали: во многом все оказалось только воображением и излишней самоуверенностью его отдельных руководящих лиц, прежде всего самого Канариса.