実業家で後に東洋大学学長を務めた大倉邦彦（1882-1971）により昭和７年（1932）「大倉精神文化研究所」の本館として創建されました。
昭和５６年（1981）横浜市が寄贈を受け、大改修のうえ建物の保存を図るとともに、昭和５９年（1984）横浜市大倉山記念館として生まれ変わり、平成３年（1991）には横浜市指定有形文化財に指定されました。
開館以来、１万人以上の入場者を集める「大倉山秋の芸術祭」、こどもの日にちなんだ「こどもフェスティバル」、１２月の「小さな丘のメリークリスマス」、など地域に密着した催し物が多数行われる文化施設として市民に親しまれています。
また、ギリシャ神殿様式のピロティー、昭和初期の雰囲気を残す第５集会室、神社建築の木組みを取り入れたホール、エントランスなど、映画やテレビのロケ地としても数多く活用されています。

明治十五年（一八八二）四月九日、素封家江原（えはら）貞晴の次男として、佐賀県神埼郡（かんざきぐん）に生まれる。昭和四十六年（一九七一）七月二十五日、八九歳で没する。号は、三空居士（さんくうこじ）。
明治三十九年（一九○六）、上海の東亜同文書院（とうあどうぶんしょいん）商務科を卒業後、大倉洋紙店に入社。明治四十五年（一九一二）、社長大倉文二（ぶんじ）の婿養子となり、大正九年（一九二○）に社長に就任した。
わが国の教育界・思想界の乱れを憂えた邦彦は、私財を投入して東京の目黒に富士見（ふじみ）幼稚園を開いたり、郷里の佐賀に農村工芸（のうそんこうげい）学院を開設したほか、昭和七年（一九三二）に大倉精神文化研究所を開設した（昭和十一年に文部省所管の財団法人として認可される）。邦彦は、所長として研究所の運営・指導にあたり、各分野の研究者を集めて学術研究を進めるとともに、精神文化に関する内外の図書を収集して附属図書館も開設した。また、昭和十二年（一九三七）、東洋大学学長に就任し、在任は二期六年にわたった。
昭和二十年（一九四五）、Ａ級戦犯容疑で巣鴨プリズンに拘禁されたが、昭和二十二年に嫌疑がはれて釈放され、二十七年に研究所理事長兼所長に復帰した。
昭和三十三年（一九五八）、タゴール記念会の理事長に就任し、昭和三十六年には大倉洋紙店会長となり、三十七年の皇學館大學の創立に際して学事顧問となった。三十九年から開催された大倉山座禅会では、その指導にあたった

昭和７年（1932）「大倉精神文化研究所」の本館として創建されました。
設計は、北海道銀行本店、横浜正金銀行東京支店など重厚で格調高い建築を数多く手がけ、日本建築史に大きな足跡を残した古典主義建築の第一人者、長野宇平治（1867-1937）です。
研究所の設計をするにあたり、「東西文化の融合」を掲げた大倉邦彦の理想に深く共鳴した長野は、古典主義にとらわれることなく、古代ギリシャ以前の”プレヘレニック様式”という世界的にも希少な建築様式を用いたのみならず、東洋の意匠も取り入れ、まさに東西文化が溶け合った独特の様式美を持つ建造物を創り上げました。