19歳のアフリカ系アメリカ人教育者シャーロット・ホーキンス・ブラウンは、ノースカロライナ州の農村で小学生と高校生を教育するため、1902年に同州セダリアでパーマー記念館を開設した。 ブラウンの恩人で友人のアリス・フリードマン・パーマーにちなんで名付けられたこの研究所は、古い鍛冶屋小屋で始まりました。
設立当初から、インスティテュートは産業教育と学術教育を推進した。 インスティテュートには農場があり、農業訓練を行うとともに、学生が働いて授業料を支払う手段も提供した。 初等科では、ブラウンはスペリング、製図、衛生学を教え、算術、読書、製図といった伝統的な科目も教えた。 高学年の生徒たちは、歴史、地理、文学、文法を学びました。
白人から資金援助を受けるため、ブラウンは学校を自分の支配下に置きながら、彼らの提案を取り入れた。 大口寄付者の一人であったフランシス・ガスリーは、基本的な生活技術に重点を置き、学問や産業教育を重視しないようブラウンに助言した。 また、道徳や宗教の教えをカリキュラムに取り入れ、重視した。 1922年には、南部大学協会（Southern Association of Colleges and Secondary Schools）から正式な認可を受けた。 1922年、インスティテュートは、南部大学・中等教育学校協会の正式認可を取得。 彼女の在任期間中、キャンパスには300エーカー以上の土地と14棟の建物が建設されました。 また、1920年代半ばには、公認の短期大学プログラムも開始されました。 しかし、1920年代後半になると、ブラウンはジュニアカレッジという考えを捨て、大学進学のための教育機関として専念するようになった。 1950年代末には、200人以上の生徒が在籍するようになりました。
インスティテュートは将来の学問的研究のために学生を準備し、卒業生は素晴らしい学業成績を収めた。 卒業生の約90パーセントが大学に進学し、半数以上が大学院の学位を取得し、そのうちの64パーセントが引き続き大学院に進学した。
1961年に彼女が亡くなるまでに、ブラウンはアフリカ系アメリカ人の子どもたちの教育活動に対して6つの名誉学位を授与されています。 彼女の死後、研究所はその創設者と代表者を失い、財政的な挫折を経験した。 私立教育のコストが上昇し、人種差別撤廃法により、以前は白人だけの公立学校に黒人が通えるようになったこともあり、予算上の問題が統合の原因となった。 1971年の火災で管理棟と教室棟が焼失し、管理委員会は学校の閉鎖を余儀なくされた。
The Palmer Instituteは1987年にCharlotte Hawkins Brown Memorial State Historic Siteとして再オープンしました。 アフリカ系アメリカ人の業績と女性の業績を称える唯一の州立史跡である。