Das Gebäude wurde zwischen 1792 und 1800 aus weiß gestrichenem Sandstein aus Aquia Creek in Virginia errichtet. Hunderte von schwarzen Sklaven wurden gezwungen, das Weiße Haus zusammen mit freien Arbeitern zu bauen. Es wurde im neoklassizistischen Stil entworfen. Seit John Adams war es der Wohnsitz eines jeden US-Präsidenten. Als Thomas Jefferson 1801 in das Haus einzog, erweiterte er (zusammen mit dem Architekten Benjamin Henry Latrobe) das Gebäude nach außen. Sie errichteten zwei Kolonnaden, die Ställe und Lagerräume verbergen sollten. Ursprünglich hieß es Executive Mansion, bevor es von Präsident Theodore Roosevelt in Weißes Haus umbenannt wurde.
Im Jahr 1814, während des Krieges von 1812, wurde das Haus von der britischen Armee bei der Verbrennung von Washington in Brand gesetzt. Einige der Soldaten, die das Haus niederbrannten, waren ehemalige Sklaven, die ihren Besitzern davongelaufen waren, um mit den Briten zu kämpfen. Sie aßen in dem Haus zu Abend, bevor sie es in Brand setzten. Das Feuer zerstörte das Innere des Hauses und verkohlte einen Großteil der Außenfassade. Der Wiederaufbau begann fast sofort. Präsident James Monroe zog im Oktober 1817 in das teilweise wiederaufgebaute Haus ein. Die Bauarbeiten wurden mit dem Anbau des südlichen Portikus im Jahr 1824 und des nördlichen Portikus im Jahr 1829 fortgesetzt.
Aufgrund der Enge im Präsidentenhaus selbst ließ Präsident Theodore Roosevelt 1901 alle Arbeitsbüros in den neu errichteten Westflügel verlegen. Acht Jahre später erweiterte Präsident William Howard Taft den Westflügel und schuf das erste Oval Office. Dieses wurde schließlich im Zuge der Erweiterung des Bereichs verlegt. Das Dachgeschoss im dritten Stock wurde 1927 zu Wohnzwecken umgebaut. Ein neu errichteter Ostflügel wurde als Empfangsbereich für gesellschaftliche Veranstaltungen genutzt. Jeffersons Kolonnaden verbanden die neuen Flügel. Der Umbau des Ostflügels wurde 1946 abgeschlossen. Durch diese Änderungen wurde mehr Platz für Büros geschaffen. 1948 wurde festgestellt, dass die tragenden Außenwände und die Holzbalken im Inneren des Hauses kurz vor dem Zusammenbruch standen. Unter Harry S. Truman wurden die Innenräume komplett demontiert und ein neues tragendes Stahlgerüst im Inneren der Wände errichtet. Nach Abschluss dieser Arbeiten wurden die Innenräume wieder aufgebaut.
Heute umfasst der Komplex des Weißen Hauses die Executive Residence, den Westflügel, den Ostflügel, das Blair House und das Old Executive Office Building, ein separates Gebäude westlich des Westflügels, in dem die Büros des Präsidenten und des Vizepräsidenten untergebracht sind.
Während der COVID-19-Pandemie kam es im Oktober 2020 zu einem Ausbruch von COVID-19 im Weißen Haus. Während des Ausbruchs wurde bei Präsident Donald Trump und First Lady Melania Trump die Infektion diagnostiziert.