Bygningen blev opført mellem 1792 og 1800 af hvidmalet sandsten fra Aquia Creek i Virginia. Hundredvis af sorte slaver blev tvunget til at bygge Det Hvide Hus sammen med frie arbejdere. Det blev designet i den neoklassiske stil. Det har været hjemsted for alle USA’s præsidenter siden John Adams. Da Thomas Jefferson flyttede ind i huset i 1801, udvidede han (sammen med arkitekten Benjamin Henry Latrobe) bygningen udadtil. De lavede to kolonnader, der skulle skjule stalde og lagerrum. Det blev oprindeligt kaldt Executive Mansion, før det blev omdøbt til Det Hvide Hus af præsident Theodore Roosevelt.
I 1814, under krigen i 1812, blev palæet sat i brand af den britiske hær under afbrændingen af Washington. Nogle af de soldater, der satte ild til det, var tidligere slaver, der var stukket af fra deres ejere for at kæmpe med briterne. De spiste middag i huset, inden de satte ild til det. Branden ødelagde husets indre og forkullede meget af det ydre. Genopbygningen begyndte næsten straks. Præsident James Monroe flyttede ind i det delvist genopbyggede hus i oktober 1817. Byggeriet fortsatte med tilføjelsen af den sydlige portico i 1824 og den nordlige portico i 1829.
På grund af trængsel i selve præsidentboligen fik præsident Theodore Roosevelt flyttet alle arbejdskontorer til den nybyggede vestfløj i 1901. Otte år senere udvidede præsident William Howard Taft den vestlige fløj og skabte det første ovale kontor. Dette blev til sidst flyttet i takt med, at afsnittet blev udvidet. Loftet på tredje etage blev omdannet til beboelsesrum i 1927. En nybygget østfløj blev brugt som et receptionsområde til sociale arrangementer. Jeffersons kolonnader forbandt de nye fløje. Ændringerne i den østlige fløj blev afsluttet i 1946. Disse ændringer skabte mere kontorplads. I 1948 blev det konstateret, at husets bærende ydervægge og de indvendige træbjælker var tæt på at gå i stykker. Under Harry S. Truman blev de indvendige rum fuldstændig skilt ad, og der blev bygget en ny indvendig bærende stålramme inden for murene. Da dette arbejde var udført, blev de indvendige rum genopbygget.
I dag omfatter Det Hvide Hus-komplekset Executive Residence, West Wing, East Wing, Blair House og Old Executive Office Building, en separat bygning vest for West Wing, som huser præsidentens og vicepræsidentens kontorer.
Under COVID-19-pandemien var der et udbrud af COVID-19 i Det Hvide Hus i oktober 2020. Under udbruddet blev præsident Donald Trump og førstedame Melania Trump diagnosticeret med infektionen.