大正13年の12月29日、青山脳病院の年末恒例の大相撲の力士を交えての餅つきのあとの火の不始末から、病院と自宅が灰燼に帰した。入院患者は自費55名、公費250名の合計300人で、うち21名が火に巻き込まれて死亡した。院長の斉藤紀一は65歳であったが、渋谷道玄坂で待合を経営する妾の家にいて到着が遅れた。洋行中の茂吉と妻の輝子は1月7日に帰宅した。茂吉が買い集めていた書籍のほとんどが焼失した。その中には貴重な歌の古書や、洋行中に買った書籍もあった。書入れのある貞享期の金塊集や賀茂真淵の書入れのある古今集も、ドイツの精神医学の雑誌の創刊号から揃っているものやエスキロールの書物も焼けた。その書物を焼け跡から掘っているときに、春画が焼け残っているのを見たときの茂吉の衝撃と挫折は想像するだけで痛ましい。折あしく、病院の火災保険も切れており（と、紀一はいった）、斉藤家と病院は経済的な危機に直面した。警察との交渉、高利貸からの借金、友人からの借金で、大正15年4月には松沢村の松原病院が委託代用病院として認められたが、患者の逃走があったため、院長が紀一から茂吉に交代しなければならなかった。
ちなみに、ほぼ同じ時期に、王子脳病院も焼失している。その時に焼け残った病床日誌が保存されている。
