1792年から1800年にかけて、バージニア州のアクイア・クリークの白っぽい砂岩で建てられた建物である。 何百人もの黒人奴隷が、自由労働者とともにホワイトハウスの建設を余儀なくされた。 新古典主義様式で設計されている。 ジョン・アダムズ以来、すべてのアメリカ大統領の住居となった。 1801年、トーマス・ジェファーソンがこの家に移り住むと、彼は（建築家ベンジャミン・ヘンリー・ラトローブとともに）建物を外側に拡張した。 彼らは、厩舎や倉庫を隠すための2つの柱廊を作りました。 セオドア・ルーズベルト大統領によってホワイトハウスと改名される前は、エグゼクティブ・マンションと呼ばれていた。
1814年、1812年の戦争中に、この邸宅はワシントンの焼き討ちでイギリス軍に燃やされた。 燃やした兵士の中には、イギリス軍と戦うために所有者のもとから逃げ出した元奴隷もいたそうです。 彼らは火をつける前に、この家で夕食をとった。 火は家の内部を破壊し、外側の大部分を焦がした。 すぐに復興が始まった。 1817年10月、ジェームズ・モンロー大統領が部分的に再建された邸宅に引っ越した。 その後、1824年に南玄関、1829年に北玄関が増築され、建設が続けられた。
大統領官邸自体が混雑していたため、セオドア・ルーズベルト大統領は1901年にすべての仕事場を新しく建設された西翼に移動させた。 8年後、ウィリアム・ハワード・タフト大統領は西翼を拡張し、最初のオーバルオフィスを作った。 この執務室も、拡張に伴い移設された。 3階の屋根裏部屋は、1927年に居住区に変更された。 新設された東棟は、社交行事のためのレセプション・エリアとして使われた。 ジェファーソンの柱廊が、新しい棟をつないでいる。 1946年、東棟の改築が完了した。 この変更により、より多くのオフィススペースが作られた。 1948年になると、邸宅の外壁と内部の木造梁の耐力低下が確認され、崩壊寸前となった。 ハリー・S・トルーマンの下で、内部の部屋は完全に解体され、壁の内側に新しい内部耐荷重の鉄骨が建てられました。 この作業が終わると、内部の部屋は再建された。
現在、ホワイトハウス・コンプレックスには、エグゼクティブ・レジデンス、西棟、東棟、ブレアハウス、そして西棟の西にある別棟、旧執務局ビル（大統領と副大統領の執行部が入る）がある。
COVID-19パンデミック時、ホワイトハウスでは2020年10月にCOVID-19の発生があった。 このアウトブレイク時に、ドナルド・トランプ大統領とメラニア・トランプ大統領夫人が感染したと診断されました。
。