1905年、気鋭の社会学教授・田中一貞が慶應義塾初代図書館監督(館長)に就任した。その頃から義塾の学術を支える本格的な図書館をつくろうという機運が高まっていく。海外の大学図書館事情にも通じていた田中はある講演で「図書館建築で最も留意すべきこと」として、防火、経済(効率的な書籍保存)、将来への拡張計画(増築など)の3つを挙げている。
1906年に慶應義塾創立50年を記念した図書館の建設計画が決まり、資金を広く募集した。寄付はすぐに目標額30万円(当時)を超えたが、そこで一波乱が待っていた。図書館を木造にして建築費を抑え、残りのお金で工科(大学)を設置しようという議論が出てきたのだ。しかし当時の鎌田栄吉塾長は図書館を建造する名目で集めた資金を別の目的に使うことは「天下に信を失ってしまう」もので、図書館は不燃物で建てなければならないと断固反対した。かくして煉瓦造りの図書館の建造が決まり、明治最後の年である1912年4月に、赤い煉瓦にアーチ型の窓、ネオ・ゴシック様式の瀟洒な図書館が三田山上に姿を現した。