Budynek został zbudowany w latach 1792-1800 z malowanego na biało piaskowca z Aquia Creek w Wirginii. Setki czarnych niewolników zostało zmuszonych do budowy Białego Domu wraz z wolnymi robotnikami. Został on zaprojektowany w stylu neoklasycznym. Był domem każdego prezydenta USA od czasów Johna Adamsa. Kiedy Thomas Jefferson wprowadził się do domu w 1801 roku, wraz z architektem Benjaminem Henrym Latrobe rozbudował budynek na zewnątrz. Stworzyli dwie kolumnady, które miały ukryć stajnie i magazyny. Początkowo nazywano go Executive Mansion, zanim został przemianowany na Biały Dom przez prezydenta Theodore’a Roosevelta.
W 1814 roku, podczas wojny 1812 roku, rezydencja została podpalona przez armię brytyjską podczas spalania Waszyngtonu. Niektórzy z żołnierzy, którzy go spalili byli byłymi niewolnikami, którzy uciekli od swoich właścicieli, aby walczyć z Brytyjczykami. Przed podpaleniem domu zjedli w nim obiad. Ogień zniszczył wnętrze domu i zwęglił znaczną część jego zewnętrznej części. Rekonstrukcja rozpoczęła się niemal natychmiast. Prezydent James Monroe wprowadził się do częściowo zrekonstruowanego domu w październiku 1817 roku. Budowę kontynuowano, dodając południowy portyk w 1824 roku i północny w 1829 roku.
Z powodu zatłoczenia w samej rezydencji wykonawczej, prezydent Theodore Roosevelt kazał przenieść wszystkie biura do nowo wybudowanego Zachodniego Skrzydła w 1901 roku. Osiem lat później, prezydent William Howard Taft rozszerzył Zachodnie Skrzydło i stworzył pierwszy Gabinet Owalny. Gabinet ten został ostatecznie przeniesiony wraz z rozbudową części. Strych na trzecim piętrze został zamieniony na pomieszczenia mieszkalne w 1927 roku. Nowo wybudowane Skrzydło Wschodnie służyło jako miejsce przyjęć na imprezy towarzyskie. Kolumnady Jeffersona połączyły nowe skrzydła. Zmiany w skrzydle wschodnim zostały zakończone w 1946 roku. Dzięki tym zmianom uzyskano więcej przestrzeni biurowej. W 1948 r. okazało się, że zewnętrzne ściany nośne domu i wewnętrzne belki drewniane są bliskie zniszczenia. Za czasów Harry’ego S. Trumana, pomieszczenia wewnętrzne zostały całkowicie rozebrane, a wewnątrz ścian zbudowano nową stalową ramę nośną. Po wykonaniu tej pracy pomieszczenia wewnętrzne zostały odbudowane.
Dzisiaj kompleks Białego Domu obejmuje Rezydencję Wykonawczą, Zachodnie Skrzydło, Wschodnie Skrzydło, Blair House oraz Old Executive Office Building, oddzielny budynek na zachód od Zachodniego Skrzydła, w którym mieszczą się biura wykonawcze prezydenta i wiceprezydenta.
Podczas pandemii COVID-19, w październiku 2020 roku w Białym Domu doszło do wybuchu epidemii COVID-19. Podczas wybuchu epidemii u prezydenta Donalda Trumpa i Pierwszej Damy Melanii Trump zdiagnozowano zakażenie.
.