Budova byla postavena v letech 1792 až 1800 z bíle natřeného pískovce z Aquia Creek ve Virginii. Na stavbě Bílého domu byly spolu se svobodnými dělníky nuceny pracovat stovky černých otroků. Byl navržen v neoklasicistním stylu. Byl domovem všech amerických prezidentů od dob Johna Adamse. Když se do domu v roce 1801 nastěhoval Thomas Jefferson, rozšířil (spolu s architektem Benjaminem Henrym Latrobem) budovu směrem ven. Vytvořili dvě kolonády, které měly ukrývat stáje a sklady. Původně se nazýval Executive Mansion, než jej prezident Theodore Roosevelt přejmenoval na Bílý dům.
V roce 1814, během války v roce 1812, bylo sídlo zapáleno britskou armádou při vypalování Washingtonu. Někteří z vojáků, kteří jej zapálili, byli bývalí otroci, kteří utekli od svých majitelů, aby bojovali s Brity. Před zapálením domu v něm povečeřeli. Oheň zničil vnitřek domu a ohořel z velké části zvenčí. Rekonstrukce začala téměř okamžitě. V říjnu 1817 se do částečně zrekonstruovaného domu nastěhoval prezident James Monroe. Stavba pokračovala přístavbou jižního portiku v roce 1824 a severního v roce 1829.
Z důvodu přeplněnosti samotného výkonného sídla nechal prezident Theodore Roosevelt v roce 1901 přesunout všechny pracovní kanceláře do nově postaveného západního křídla. O osm let později prezident William Howard Taft rozšířil Západní křídlo a vytvořil první Oválnou pracovnu. Ta byla nakonec s rozšiřováním sekce přesunuta. Podkroví ve třetím patře bylo v roce 1927 přeměněno na obytné prostory. Nově vybudované východní křídlo sloužilo jako recepce pro společenské akce. Nová křídla propojily Jeffersonovy kolonády. Změny východního křídla byly dokončeny v roce 1946. Díky těmto změnám vzniklo více kancelářských prostor. V roce 1948 bylo zjištěno, že nosné vnější stěny domu a vnitřní dřevěné trámy jsou blízko poruše. Za vlády Harryho S. Trumana byly vnitřní místnosti kompletně rozebrány a uvnitř stěn byla postavena nová vnitřní nosná ocelová konstrukce. Po dokončení těchto prací byly vnitřní místnosti přestavěny.
Dnes komplex Bílého domu zahrnuje exekutivní rezidenci, západní křídlo, východní křídlo, Blair House a Old Executive Office Building, samostatnou budovu západně od západního křídla, v níž jsou umístěny výkonné kanceláře prezidenta a viceprezidenta.
Během pandemie COVID-19 vypukla v říjnu 2020 v Bílém domě epidemie COVID-19. V říjnu 2020 se v Bílém domě objevily dvě nové budovy. Během epidemie byla nákaza diagnostikována u prezidenta Donalda Trumpa a první dámy Melanie Trumpové.