都営地下鉄大江戸線牛込神楽坂駅の東、徒歩3分。戦国時代にこの地の領主牛込氏の居館があったと推定されるところにある。牛込氏は北条氏の家臣で、北条氏の滅亡後居館は徳川家康により取り壊され、正保2年(1645年)に光照寺が神田から移転した。 羽後松山藩坂井家の菩提寺であり、一族の墓が並んでいる。また、境内には新宿区登録文化財の諸国旅人供養碑や狂歌師の便々館湖鯉鮒(べんべんかんこりゅう)の墓がある。牛込城跡の面影は残っていない。