Судьба особняка Брусницыных отразила характерную для XIX столетия традицию строительства жилища владельца предприятия рядом с производством. С 1844 года участком владели купцы Брусницыны. Первая перестройка особняка произошла в 1857 году. Архитектор А. С. Андреев сделал пристройку с западной стороны. В начале 1860-х годов были расширены оконные проемы первого этажа и увеличена высота второго. Лицевые фасады получили новую отделку. По его же проекту в 1864 году начали строить примкнувший с запада двухэтажный жилой дом. С 1868 года владельцем северного участка с особняком стала Е. И. Брусницына, южного участка – Н. М. Брусницын.
В 1882 году особняк перешел к сыновьям. Спустя два года его перестроил архитектор А. И. Ковшаров. В ходе работ была ещё увеличена высота второго этажа, а с восточной стороны сделана пристройка для размещения парадной лестницы. Внешне здание соответствовало модному стилю эклектике. Весь декор был сконцентрирован на уровне второго этажа. Со стороны дворового фасада появился зимний сад. В 1924–1925 годах экзотические растения из оранжереи Брусницыных передали в Ботанический Сад.
После 1917 года особняк Брусницыных занял кожевенный завод имени А. Н. Радищева. В 1925–1930 годах на месте воротного проезда для экипажей устроили вестибюль и проходную, помещение парадной лестницы разделили деревянным перекрытием, заложили часть дверных проемов. Вензель семьи Брусницыных, располагавшийся над парадным входом, заменили серпом и молотом.
В XXI веке помещения с уцелевшими интерьерами XIX века сдавались в аренду различным фирмам. Используются в основном для съёмок костюмных фильмов и телесериалов. Сейчас можно попасть на экскурсию по особняку.