Rakennus rakennettiin vuosien 1792 ja 1800 välisenä aikana Aquia Creekistä Virginiasta peräisin olevasta valkoiseksi maalatusta hiekkakivestä. Satoja mustia orjia pakotettiin rakentamaan Valkoista taloa vapaiden työläisten ohella. Se suunniteltiin uusklassiseen tyyliin. Se on ollut jokaisen Yhdysvaltain presidentin koti John Adamsin jälkeen. Kun Thomas Jefferson muutti taloon vuonna 1801, hän (arkkitehti Benjamin Henry Latroben kanssa) laajensi rakennusta ulospäin. He tekivät kaksi pylväskäytävää, joiden oli tarkoitus kätkeä tallit ja varastot. Alun perin sitä kutsuttiin Executive Mansioniksi ennen kuin presidentti Theodore Roosevelt nimesi sen uudelleen Valkoiseksi taloksi.
Vuonna 1814, vuoden 1812 sodan aikana, brittiläinen armeija sytytti kartanon tuleen Washingtonin palossa. Osa sen polttaneista sotilaista oli entisiä orjia, jotka olivat paenneet omistajiltaan taistelemaan brittien kanssa. He söivät illallisen talossa ennen sen sytyttämistä tuleen. Tulipalo tuhosi talon sisältä ja hiillosti suuren osan ulkoa. Jälleenrakennus alkoi lähes välittömästi. Presidentti James Monroe muutti osittain jälleenrakennettuun taloon lokakuussa 1817. Rakentamista jatkettiin lisäämällä eteläinen porttikuisti vuonna 1824 ja pohjoinen porttikuisti vuonna 1829.
Koska itse toimeenpanokartanossa oli ahdasta, presidentti Theodore Roosevelt siirsi kaikki työtilat vastarakennettuun länsisiipeen vuonna 1901. Kahdeksan vuotta myöhemmin presidentti William Howard Taft laajensi länsisiipeä ja loi ensimmäisen Oval Office -huoneen. Tämä siirrettiin lopulta, kun osastoa laajennettiin. Kolmannen kerroksen ullakko muutettiin asuintiloiksi vuonna 1927. Vastarakennettua itäsiipeä käytettiin sosiaalisten tapahtumien vastaanottotilana. Jeffersonin pylväskäytävät yhdistivät uudet siivet toisiinsa. Itäsiiven muutokset saatiin päätökseen vuonna 1946. Näillä muutoksilla saatiin lisää toimistotilaa. Vuoteen 1948 mennessä talon kantavien ulkoseinien ja sisäpuolisten puupalkkien todettiin olevan lähellä pettämistä. Harry S. Trumanin aikana sisätilat purettiin kokonaan ja seinien sisäpuolelle rakennettiin uusi kantava teräsrunko. Kun tämä työ oli tehty, sisätilat rakennettiin uudelleen.
Tänään Valkoisen talon kompleksiin kuuluvat toimeenpanoviraston asuinrakennus, länsisiipi, itäsiipi, Blair House ja Vanha toimeenpanovirastorakennus (Old Executive Office Building), joka on länsisiiven länsipuolella sijaitseva erillinen rakennus, jossa sijaitsevat presidentin ja varapresidentin toimeenpanovirastot.
COVID-19-pandemian aikana Valkoisessa talossa puhkesi lokakuussa 2020 COVID-19-epidemia. Epidemian aikana presidentti Donald Trumpilla ja First Lady Melania Trumpilla diagnosoitiin tartunta.