A tizenkilenc éves Charlotte Hawkins Brown afroamerikai pedagógus 1902-ben az észak-karolinai Sedaliában elindította a Palmer Memorial Institute-ot, hogy általános és középiskolás diákokat oktasson a vidéki Észak-Karolinában. Az intézet Brown jótevőjéről és barátjáról, Alice Freedman Palmerről kapta a nevét, és egy régi kovácsműhelyben kezdte meg működését.
Az intézet megalakulásától kezdve az ipari és tudományos oktatást támogatta. Az intézethez egy farm is tartozott, amely mezőgazdasági képzést nyújtott, és lehetőséget biztosított arra, hogy a diákok munkával fizethessék a tandíjat. Az elemi tantervben Brown helyesírást, rajzot és higiéniát tanított, valamint olyan hagyományos tantárgyakat, mint a számtan, az olvasás és a rajz. A felső tagozatos diákok történelmet, földrajzot, irodalmat és nyelvtant tanultak.
A fehérektől kapott pénzügyi támogatás érdekében Brown beépítette javaslataikat, miközben az iskolát saját irányítása alatt tartotta. Egyik fő adományozója, Frances Guthrie azt tanácsolta Brownnak, hogy az alapvető életvezetési készségekre összpontosítson, és háttérbe szorítsa az akadémiai és ipari oktatást. Hangsúlyozta az erkölcsi és vallási tanításokat, beépítve azokat a tantervbe. Az intézet feletti ellenőrzés megtartása érdekében 1904-ben megalakította az afroamerikai kuratórium helyi testületét, és egy északi fehér támogatókból álló helyi testületet is létrehozott.
1922-ben az intézetet teljes mértékben akkreditálta a Southern Association of Colleges and Secondary Schools. Vállalkozói képességeivel az intézetet az Egyesült Államok egyetlen ilyen kaliberű befejező iskolájává fejlesztette. Hivatali ideje alatt a campus több mint 300 hektárt és tizennégy épületet foglalt magába. Az intézethez egy akkreditált junior college program is tartozott, amely az 1920-as évek közepén indult. Az 1920-as évek végére azonban a Brown felhagyott a junior college gondolatával, és az intézményt kizárólag a főiskolai előkészítésre összpontosította. Az 1950-es évek végére az intézmény több mint 200 diákot vett fel.
Az Intézet felkészítette a diákokat a későbbi egyetemi tanulmányokra, és a végzettek lenyűgöző tanulmányi eredményeket értek el. A végzettek körülbelül 90 százaléka járt főiskolára, és több mint a fele posztgraduális diplomát szerzett, 64 százalékuk pedig tovább folytatta a posztgraduális munkát.
Az 1961-ben bekövetkezett haláláig Brown hat tiszteletbeli diplomát kapott az afroamerikai gyerekek körében végzett oktatási munkájáért. Halála után az intézmény megteremtője és vezéralakja nélkül maradt, és pénzügyi visszaesésekkel küzdött. A költségvetési problémákat részben az integráció okozta, mivel a magánoktatás költségei megnövekedtek, és a deszegregációs törvények lehetővé tették a feketék számára, hogy a korábban csak fehérek számára fenntartott állami iskolákba járjanak. Egy 1971-es tűzvész elpusztította az adminisztrációs és tantermi épületet, és a kuratórium kénytelen volt bezárni az iskolát.
A Palmer Intézet 1987-ben nyílt meg újra Charlotte Hawkins Brown Memorial State Historic site néven. Ez az egyetlen olyan állami történelmi emlékhely, amelyet egy afroamerikai és egy nő teljesítményének szenteltek.