Башня стояла здесь с 1695 года и была снесена в 1934-м, но легенда о ней пережила саму постройку. В башне помещалась Школа математических и навигацких наук, которой ведал Яков Брюс — сподвижник Петра I, астроном и инженер, которого молва сделала чернокнижником. Говорили, что он держал наверху обсерваторию, ставил опыты по ночам и замуровал в стене «чёрную книгу», дающую власть над всем на свете. При сносе книгу искали — не нашли. С тех пор рассказывают, что призрак Брюса появляется у Сухаревской площади и ждёт, когда башню отстроят заново.