Het gebouw werd tussen 1792 en 1800 opgetrokken uit witgeverfde zandsteen uit Aquia Creek in Virginia. Honderden zwarte slaven werden gedwongen het Witte Huis te bouwen, samen met vrije arbeiders. Het werd ontworpen in neoklassieke stijl. Het is het huis geweest van elke Amerikaanse president sinds John Adams. Toen Thomas Jefferson het huis in 1801 betrok, breidde hij (met architect Benjamin Henry Latrobe) het gebouw naar buiten uit. Ze maakten twee zuilengangen die stallen en opslag moesten verbergen. Het werd oorspronkelijk de Executive Mansion genoemd voordat het door president Theodore Roosevelt werd omgedoopt tot het Witte Huis.
In 1814, tijdens de Oorlog van 1812, werd het herenhuis door het Britse leger in brand gestoken bij de verbranding van Washington. Sommige van de soldaten die het huis in brand staken, waren voormalige slaven die van hun eigenaars waren weggelopen om met de Britten te vechten. Ze aten in het huis voordat ze het in brand staken. Het vuur verwoestte de binnenkant van het huis en verkoolde een groot deel van de buitenkant. De wederopbouw begon vrijwel onmiddellijk. President James Monroe nam in oktober 1817 zijn intrek in het gedeeltelijk herbouwde huis. De bouw werd voortgezet met de toevoeging van de zuidelijke portiek in 1824 en de noordelijke in 1829.
Omwille van de drukte in het executive mansion zelf, liet president Theodore Roosevelt in 1901 alle werkkantoren verhuizen naar de nieuw gebouwde West Wing. Acht jaar later breidde president William Howard Taft de West Wing uit en creëerde er het eerste Oval Office. Dit werd uiteindelijk verplaatst toen de afdeling werd uitgebreid. De zolder op de derde verdieping werd in 1927 verbouwd tot woonruimte. Een nieuw gebouwde oostelijke vleugel werd gebruikt als ontvangstruimte voor sociale evenementen. Jefferson’s zuilengangen verbonden de nieuwe vleugels. De veranderingen aan de oostvleugel werden in 1946 voltooid. Door deze veranderingen kwam er meer kantoorruimte. In 1948 bleken de dragende buitenmuren en de interne houten balken van het huis het bijna te hebben begeven. Onder Harry S. Truman werden de binnenkamers volledig uit elkaar gehaald en werd er een nieuw intern dragend stalen frame binnen de muren gebouwd. Nadat dit werk was gedaan, werden de binnenkamers herbouwd.
Heden ten dage omvat het Witte Huis Complex de Executive Residence, West Wing, East Wing, Blair House, en het Old Executive Office Building, een apart gebouw ten westen van de West Wing, waarin de uitvoerende kantoren van de president en vicepresident zijn ondergebracht.
Tijdens de COVID-19 pandemie was er een uitbraak van COVID-19 in het Witte Huis in oktober 2020. Tijdens de uitbraak werden president Donald Trump en First Lady Melania Trump gediagnosticeerd met de infectie.