Byggnaden byggdes mellan 1792 och 1800 av vitmålad sandsten från Aquia Creek i Virginia. Hundratals svarta slavar tvingades bygga Vita huset tillsammans med fria arbetare. Det utformades i neoklassisk stil. Det har varit hem för varje amerikansk president sedan John Adams. När Thomas Jefferson flyttade in i huset 1801 expanderade han (tillsammans med arkitekten Benjamin Henry Latrobe) byggnaden utåt. De gjorde två kolonnader som var tänkta att dölja stall och förråd. Det kallades ursprungligen Executive Mansion innan det döptes om till Vita huset av president Theodore Roosevelt.
Under 1814, under kriget 1812, sattes herrgården i brand av den brittiska armén i samband med att Washington brändes. Några av soldaterna som brände den var före detta slavar som hade rymt från sina ägare för att slåss med britterna. De åt middag i huset innan de satte det i brand. Branden förstörde husets insida och förkolnade en stor del av utsidan. Återuppbyggnaden började nästan omedelbart. President James Monroe flyttade in i det delvis återuppbyggda huset i oktober 1817. Byggandet fortsatte med tillägget av den södra portiken 1824 och den norra 1829.
På grund av trångboddhet i själva presidentvillan lät president Theodore Roosevelt flytta alla arbetskontor till den nybyggda västra flygeln 1901. Åtta år senare utvidgade president William Howard Taft den västra flygeln och skapade det första ovala kontoret. Detta flyttades så småningom i takt med att sektionen utvidgades. Vindsvåningen på tredje våningen gjordes om till bostadsutrymmen 1927. En nybyggd östra flygel användes som mottagningsområde för sociala evenemang. Jeffersons kolonnader förband de nya flyglarna. Förändringarna i den östra flygeln avslutades 1946. Genom dessa ändringar skapades fler kontorsutrymmen. År 1948 visade det sig att husets bärande ytterväggar och inre träbjälkar var nära att gå sönder. Under Harry S. Truman togs de inre rummen helt isär och en ny inre bärande stålram byggdes innanför väggarna. När detta arbete var gjort återuppbyggdes de inre rummen.
I dag omfattar Vita husets komplex presidentens residens, västra flygeln, östra flygeln, Blair House och Old Executive Office Building, en separat byggnad väster om västra flygeln, som inrymmer presidentens och vicepresidentens verkställande kontor.
Under COVID-19-pandemin inträffade ett utbrott av COVID-19 i Vita huset i oktober 2020. Under utbrottet diagnostiserades president Donald Trump och First Lady Melania Trump med infektionen.