Az épület 1792 és 1800 között épült a virginiai Aquia Creekből származó fehér festett homokkőből. A Fehér Ház építésére több száz fekete rabszolgát kényszerítettek a szabad munkásokkal együtt. Neoklasszicista stílusban tervezték. John Adams óta minden amerikai elnök otthona volt. Amikor Thomas Jefferson 1801-ben beköltözött a házba, ő (Benjamin Henry Latrobe építésszel) kibővítette az épületet kifelé. Két oszlopcsarnokot készítettek, amelyek az istállókat és a raktárakat voltak hivatottak elrejteni. Eredetileg Executive Mansion-nak hívták, mielőtt Theodore Roosevelt elnök átnevezte volna Fehér Házra.
1814-ben, az 1812-es háború idején a kastélyt a brit hadsereg felgyújtotta Washington felgyújtásakor. A felgyújtó katonák közül néhányan egykori rabszolgák voltak, akik megszöktek a gazdáik elől, hogy a britek oldalán harcoljanak. A házban vacsoráztak, mielőtt felgyújtották volna. A tűz elpusztította a ház belsejét és elszenesítette a külsejének nagy részét. Az újjáépítés szinte azonnal megkezdődött. James Monroe elnök 1817 októberében költözött be a részben újjáépített házba. Az építkezés 1824-ben a déli portikusszal, 1829-ben pedig az északi portikusszal folytatódott.
A magán a végrehajtói kúrián belüli zsúfoltság miatt Theodore Roosevelt elnök 1901-ben az összes munkahivatalt az újonnan épített nyugati szárnyba költöztette. Nyolc évvel később William Howard Taft elnök kibővítette a nyugati szárnyat, és létrehozta az első ovális irodát. Ezt végül a részleg bővítésekor áthelyezték. A harmadik emeleti padlást 1927-ben lakószobává alakították át. Az újonnan épített keleti szárnyat társadalmi események fogadótereként használták. Az új szárnyakat Jefferson oszlopcsarnokai kötötték össze. A keleti szárny módosításait 1946-ban fejezték be. Ezekkel a változtatásokkal több irodahelyiséget alakítottak ki. 1948-ra kiderült, hogy a ház teherhordó külső falai és belső fagerendái közel álltak a meghibásodáshoz. Harry S. Truman idején a belső helyiségeket teljesen szétszedték, és a falakon belül új belső teherhordó acélvázat építettek. Miután ezt a munkát elvégezték, a belső helyiségeket újjáépítették.
A Fehér Ház komplexuma ma a végrehajtó rezidenciát, a nyugati szárnyat, a keleti szárnyat, a Blair-házat és a nyugati szárnytól nyugatra lévő különálló épületet, az Old Executive Office Buildinget foglalja magában, amelyben az elnök és az alelnök végrehajtó irodái találhatók.
A COVID-19 járvány idején, 2020 októberében COVID-19 járvány tört ki a Fehér Házban. A járvány kitörése során Donald Trump elnöknél és a First Lady Melania Trumpnál diagnosztizálták a fertőzést.