Clădirea a fost construită între 1792 și 1800 din gresie vopsită în alb din Aquia Creek din Virginia. Sute de sclavi negri au fost forțați să construiască Casa Albă împreună cu muncitori liberi. A fost proiectată în stil neoclasic. A fost casa fiecărui președinte american de la John Adams încoace. Când Thomas Jefferson s-a mutat în casă în 1801, el (împreună cu arhitectul Benjamin Henry Latrobe) a extins clădirea spre exterior. Au făcut două colonade care trebuiau să ascundă grajdurile și depozitele. Inițial s-a numit Executive Mansion înainte de a fi redenumită Casa Albă de către președintele Theodore Roosevelt.
În 1814, în timpul Războiului din 1812, conacul a fost incendiat de armata britanică în timpul incendiului de la Washington. Unii dintre soldații care i-au dat foc erau foști sclavi care fugiseră de la proprietarii lor pentru a lupta alături de britanici. Aceștia au luat cina în casă înainte de a-i da foc. Incendiul a distrus interiorul casei și a carbonizat o mare parte din exterior. Reconstrucția a început aproape imediat. Președintele James Monroe s-a mutat în casa parțial reconstruită în octombrie 1817. Construcția a continuat cu adăugarea porticului sudic în 1824 și a celui nordic în 1829.
Din cauza aglomerației din interiorul conacului executiv propriu-zis, președintele Theodore Roosevelt a cerut ca toate birourile de lucru să fie mutate în aripa de vest nou construită în 1901. Opt ani mai târziu, președintele William Howard Taft a extins Aripa de Vest și a creat primul Birou Oval. Acesta a fost în cele din urmă mutat pe măsură ce secțiunea a fost extinsă. Mansarda de la etajul al treilea a fost transformată în camere de locuit în 1927. O aripă de est nou construită a fost folosită ca zonă de recepție pentru evenimente sociale. Colonadele lui Jefferson au conectat noile aripi. Modificările aripei de est au fost finalizate în 1946. Aceste modificări au făcut mai mult spațiu de birouri. În 1948, s-a constatat că pereții exteriori portanți ai casei și grinzile interioare din lemn erau aproape de a ceda. Sub conducerea lui Harry S. Truman, încăperile interioare au fost complet demontate și a fost construită o nouă structură portantă internă din oțel în interiorul zidurilor. După ce această lucrare a fost făcută, încăperile interioare au fost reconstruite.
Astăzi, Complexul Casei Albe include Reședința Executivă, Aripa de Vest, Aripa de Est, Casa Blair și Vechea Clădire a Biroului Executiv, o clădire separată la vest de Aripa de Vest, care găzduiește birourile executive ale președintelui și vicepreședintelui.
În timpul pandemiei COVID-19, a existat un focar de COVID-19 la Casa Albă în octombrie 2020. În timpul focarului, președintele Donald Trump și prima doamnă Melania Trump au fost diagnosticați cu această infecție.
.