O edifício foi construído entre 1792 e 1800 a partir de arenito pintado de branco de Aquia Creek, na Virgínia. Centenas de escravos negros foram forçados a construir a Casa Branca juntamente com trabalhadores livres. Foi projetado no estilo Neoclássico. Tem sido a casa de todos os presidentes dos EUA desde John Adams. Quando Thomas Jefferson se mudou para a casa em 1801, ele (com o arquiteto Benjamin Henry Latrobe) expandiu o prédio para fora. Eles fizeram duas colunatas destinadas a esconder estábulos e depósitos. Foi originalmente chamada de Mansão Executiva antes de ser renomeada Casa Branca pelo Presidente Theodore Roosevelt.
Em 1814, durante a Guerra de 1812, a mansão foi incendiada pelo Exército Britânico na Queima de Washington. Alguns dos soldados que a queimaram eram ex-escravos que tinham fugido de seus donos para lutar com os britânicos. Eles jantaram na casa antes de incendiá-la. O fogo destruiu o interior da casa e queimou grande parte do exterior. A reconstrução começou quase imediatamente. O presidente James Monroe mudou-se para a casa parcialmente reconstruída em outubro de 1817. A construção continuou com a adição do Pórtico Sul, em 1824, e do Norte, em 1829.
Por causa da aglomeração dentro da própria mansão executiva, o Presidente Theodore Roosevelt teve todos os escritórios de trabalho mudados para a recém-construída Ala Oeste em 1901. Oito anos depois, o Presidente William Howard Taft expandiu a Ala Presidencial e criou a primeira Sala Oval. Esta acabou por ser transferida à medida que a secção foi sendo expandida. O sótão do terceiro andar foi transformado em alojamento em 1927. Uma recém construída Ala Leste foi usada como área de recepção para eventos sociais. As colunatas de Jefferson ligaram as novas alas. As mudanças da Ala Leste foram concluídas em 1946. Estas mudanças fizeram mais espaço para escritórios. Em 1948, as paredes exteriores da casa e as vigas de madeira interiores estavam perto do fracasso. Sob Harry S. Truman, as divisões interiores foram completamente desmontadas e uma nova armação interna de aço que suportava a carga foi construída dentro das paredes. Uma vez feito este trabalho, as salas interiores foram reconstruídas.
Hoje, o Complexo da Casa Branca inclui a Residência Executiva, Ala Oeste, Ala Leste, Casa Blair, e o Edifício do Antigo Escritório Executivo, um edifício separado a Oeste da Ala Oeste, que abriga os escritórios executivos do Presidente e do Vice-Presidente.
Durante a pandemia da COVID-19, houve um surto de COVID-19 na Casa Branca em outubro de 2020. Durante o surto, o Presidente Donald Trump e a Primeira Dama Melania Trump foram diagnosticados com a infecção.
>