De negentienjarige Charlotte Hawkins Brown, een Afro-Amerikaanse onderwijzeres, begon in 1902 in Sedalia, North Carolina het Palmer Memorial Institute voor onderwijs aan leerlingen van de lagere en middelbare school op het platteland van North Carolina. Vernoemd naar Browns weldoener en vriendin, Alice Freedman Palmer, begon het instituut in een oude smidse.
Van meet af aan bevorderde het instituut industrieel en academisch onderwijs. Het instituut omvatte een boerderij, waar de studenten een landbouwopleiding konden volgen en konden werken om het schoolgeld te betalen. In het basiscurriculum gaf Brown les in spelling, tekenen en hygiëne en ook in traditionele vakken als rekenen, lezen en tekenen. Studenten in de hogere klassen leerden geschiedenis, aardrijkskunde, literatuur en grammatica.
Om financiële steun van blanken te krijgen, nam Brown hun suggesties over terwijl ze de school onder haar controle hield. Een van haar belangrijkste donateurs, Frances Guthrie, adviseerde Brown zich te concentreren op elementaire levensvaardigheden en academische en industriële vorming te demotiveren. Zij legde de nadruk op moraal en godsdienst door deze in het leerplan op te nemen. Om controle over het instituut te houden, vormde ze in 1904 een lokale raad van Afro-Amerikaanse trustees en richtte ze ook een lokale raad van noordelijke blanke supporters op.
In 1922 werd het instituut volledig geaccrediteerd door de Southern Association of Colleges and Secondary Schools. Met haar ondernemersvaardigheden ontwikkelde zij het instituut tot de enige finishing school van dit kaliber in de Verenigde Staten. Tijdens haar ambtstermijn omvatte de campus meer dan 300 acres en veertien gebouwen. Het instituut omvatte ook een geaccrediteerd junior-college programma dat in het midden van de jaren 1920 van start ging. Tegen het einde van de jaren twintig liet Brown het idee van een junior-college echter varen en richtte het instituut zich uitsluitend op college-voorbereiding. Tegen het einde van de jaren 1950 telde het instituut meer dan 200 studenten.
Het instituut bereidde studenten voor op toekomstige academische studies, en afgestudeerden genereerden een indrukwekkende staat van dienst op het gebied van academische prestaties. Ongeveer 90 procent van de afgestudeerden ging naar de universiteit, en meer dan de helft volgde postdoctorale graden en 64 procent van hen ging verder voor postdoctoraal werk.
Tegen de tijd van haar dood in 1961, had Brown zes eredoctoraten ontvangen voor haar educatieve arbeid onder Afro-Amerikaanse kinderen. Na haar dood was het instituut zonder zijn schepper en boegbeeld en kreeg het te maken met financiële tegenslagen. De budgettaire problemen werden gedeeltelijk veroorzaakt door de stijgende kosten van privé-onderwijs en de desegregatiewetten die zwarten in staat stelden om voorheen uitsluitend blanke openbare scholen te bezoeken. Een brand in 1971 verwoestte de administratie en het klaslokaal, en de beheerders werden gedwongen de school te sluiten.
Het Palmer Institute werd in 1987 heropend als de Charlotte Hawkins Brown Memorial State Historic Site. Het is de enige state historic site gewijd aan de prestaties van een Afro-Amerikaanse en de prestaties van een vrouw.