In 1941-1948 was hij getrouwd met Carlotta Thorkildsen en had met haar de dochter Ninja (1940). In 1948 trouwde hij met de weduwe Rut Bergaust. Ze lieten zich scheiden in 1980. Ze was de moeder van zijn drie zoons Peter (1948), Lars (1951) en Matthias (1961). In 1983 trouwde Brandt met de dertig jaar jongere historica Brigitte Seebacher.