El edificio fue construido entre 1792 y 1800 con piedra arenisca pintada de blanco procedente de Aquia Creek en Virginia. Cientos de esclavos negros fueron obligados a construir la Casa Blanca junto con trabajadores libres. Fue diseñada en estilo neoclásico. Ha sido el hogar de todos los presidentes de Estados Unidos desde John Adams. Cuando Thomas Jefferson se instaló en la casa en 1801, amplió el edificio hacia el exterior (con el arquitecto Benjamin Henry Latrobe). Hicieron dos columnatas que debían ocultar los establos y los almacenes. Originalmente se llamó Mansión Ejecutiva antes de ser rebautizada como Casa Blanca por el presidente Theodore Roosevelt.
En 1814, durante la Guerra de 1812, la mansión fue incendiada por el ejército británico en la quema de Washington. Algunos de los soldados que la quemaron eran antiguos esclavos que habían huido de sus dueños para luchar con los británicos. Cenaron en la casa antes de prenderle fuego. El fuego destruyó el interior de la casa y carbonizó gran parte del exterior. La reconstrucción comenzó casi inmediatamente. El presidente James Monroe se trasladó a la casa parcialmente reconstruida en octubre de 1817. La construcción continuó con la adición del Pórtico Sur en 1824 y del Norte en 1829.
Debido al hacinamiento en la propia mansión ejecutiva, el presidente Theodore Roosevelt hizo trasladar todas las oficinas de trabajo al recién construido Ala Oeste en 1901. Ocho años después, el presidente William Howard Taft amplió el Ala Oeste y creó el primer Despacho Oval. Éste se trasladó con el tiempo a medida que se ampliaba la sección. El ático del tercer piso se convirtió en una vivienda en 1927. El Ala Este, de nueva construcción, se utilizó como zona de recepción para eventos sociales. Las columnatas de Jefferson conectaban las nuevas alas. Los cambios en el ala este se completaron en 1946. Estos cambios permitieron obtener más espacio para oficinas. En 1948, los muros exteriores de carga de la casa y las vigas de madera internas estaban a punto de fallar. Bajo el mandato de Harry S. Truman, se desmontaron por completo las habitaciones interiores y se construyó una nueva estructura interna de acero que soportaba la carga dentro de los muros. Una vez realizado este trabajo, se reconstruyeron las habitaciones interiores.
Hoy en día, el Complejo de la Casa Blanca incluye la Residencia Ejecutiva, el Ala Oeste, el Ala Este, la Casa Blair y el Antiguo Edificio de Oficinas Ejecutivas, un edificio separado al oeste del Ala Oeste, que alberga las oficinas ejecutivas del Presidente y del Vicepresidente.
Durante la pandemia de COVID-19, hubo un brote de COVID-19 en la Casa Blanca en octubre de 2020. Durante el brote, el presidente Donald Trump y la primera dama Melania Trump fueron diagnosticados con la infección.