Den 19-årige Charlotte Hawkins Brown, en afroamerikansk pædagog, startede Palmer Memorial Institute i Sedalia, North Carolina, i 1902 for at uddanne grundskoleelever og gymnasieelever i landdistrikterne i North Carolina. Instituttet, der er opkaldt efter Browns velgører og veninde, Alice Freedman Palmer, startede i et gammelt smedeskur i et gammelt skur.
Der blev fra starten fremmet industriel og akademisk uddannelse. Instituttet omfattede en gård, som gav landbrugsuddannelse og gav de studerende mulighed for at arbejde for at betale for undervisningen. I grundskolen underviste Brown i stavning, tegning og hygiejne samt i traditionelle fag som aritmetik, læsning og tegning. Eleverne i de højere klasser lærte historie, geografi, litteratur og grammatik.
For at få økonomisk støtte fra de hvide indarbejdede Brown deres forslag, samtidig med at hun beholdt skolen under sin kontrol. En af hendes største donorer, Frances Guthrie, rådede Brown til at fokusere på grundlæggende livsfærdigheder og nedprioritere akademiske fag og industriel uddannelse. Hun lagde vægt på moral- og religionsundervisning ved at indarbejde dem i læseplanerne. For at bevare kontrollen over instituttet dannede hun en lokal bestyrelse af afroamerikanske bestyrelsesmedlemmer i 1904 og etablerede også en lokal bestyrelse af hvide støtter fra nordstaterne.
I 1922 blev instituttet fuldt akkrediteret af Southern Association of Colleges and Secondary Schools. Med sine iværksætterfærdigheder udviklede hun instituttet til den eneste finishing school af sin kaliber i USA. I hendes embedsperiode omfattede campus mere end 300 acres og fjorten bygninger. Instituttet omfattede også et akkrediteret junior-college-program, der begyndte i midten af 1920’erne. I slutningen af 1920’erne opgav Brown imidlertid idéen om et junior college og fokuserede instituttet udelukkende på collegeforberedende uddannelser. Ved slutningen af 1950’erne havde institutionen over 200 studerende.
Instituttet forberedte de studerende til fremtidige akademiske studier, og de færdiguddannede elever havde en imponerende track record med hensyn til akademiske resultater. Omkring 90 procent af de færdiguddannede gik på college, og mere end halvdelen gik videre til postgraduate grader, og 64 procent af dem fortsatte gik videre til postgraduate arbejde.
Hvor hun døde i 1961, havde Brown modtaget seks æresgrader for sit uddannelsesarbejde blandt afroamerikanske børn. Efter hendes død var institutionen uden sin skaber og galionsfigur og oplevede økonomiske tilbageslag. Budgetproblemerne var forårsaget af integration, bl.a. fordi omkostningerne til privatundervisning steg, og fordi lovene om adskillelse gjorde det muligt for sorte at gå på offentlige skoler, der tidligere kun havde været forbeholdt hvide. En brand i 1971 ødelagde administrations- og klasseværelsesbygningen, og bestyrelsen var tvunget til at lukke skolen.
Palmer Institute blev genåbnet i 1987 som Charlotte Hawkins Brown Memorial State Historic site. Det er det eneste statslige historiske sted, der er dedikeret til en afroamerikaners og en kvindes bedrifter.