Киржач, в самом непродолжительном времени, так разросся, что кто в 40-х годах жил на Всполье, те в 60-х годах очутились чуть не в центре города. Явилась потребность в новой теплой церкви и нужда во втором священнике.
В 1864 – 1869 годах Александр Александрович и Петр Александрович воздвигли недалеко от могилы своих благочестивых родителей величественны храм в честь Всех Святых с высокой пятиярусной колокольней. В храм ими же была пожертвована дорогая церковная утварь, а на колокольню – большой колокол весом в 549 пудов (8736 кг). Устроение этого храма с колокольней придало особое величие всей группе храмов, находящихся в ограде некогда бывшей обители; а в 1867 г., когда был поднят большой колокол, густой и гармоничный благовест, призывающий к молитве, торжественно разнесся над храмами бывшей обители и далеко над окружающей местностью. Киржачские граждане вполне оценили обновителей своего города,- и «на всегдашнюю память оных потомству своему поставили в храме икону свв. Петра митрополита и благоверного князя Александра Невского, выразив желание, чтобы эта икона всегда находилась при богослужениях в храме Божием, чтобы, при взгляде на нее, живее можно было помнить о великих пожертвованиях и располагаться к молитве оплодоносящих и добродеющих о святом храме сем».
В 1869 г. новая церковь Высокопреосвященнейшим Архипастырем была освящена, и в сентябре того же года определен второй священник к Благовещенскому приходу. Но младший из братьев Соловьевых и этой жертвой не ограничился: что ни год, то новые и новые жертвы потекли от него на дело Божие. Новый храм им расписан в самом лучшем виде; иконостас покрыт сплошной, лучшей позолотой.
Церковь в честь и славу всех Святых имеет форму правильного квадрата с полукруглым, выдающимся алтарем, с высоким куполом и с двумя главами — над церковью и над алтарем, на коих утверждены кресты, окованные медью, через огонь вызолоченною. Высокая шестиярусная колокольня устроена при этой церкви с западной стороны. По прочности и красоте устройства колокольня представляет собою замечательный образец. Верх ее завершен большею главою, на которой крест, как и на церкви, вызолочен также через огонь; самый большой колокол, на колокольне, вылитый на иждивение Петра А. Соловьева и А.А. Соловьева, строителей Всесвятского храма, в память по своих родителях, сродниках и по себе, весом в 549 пудов. Второй колокол, полилейный, в 182 пуда. Всех колоколов на колокольне с большим и по лилейным девять; между колоколами имеется один с следующей, вылитой на нем надписью: «Лета 7207 день сей колокол в Троицкой Благовещенской Киржацкой монастырь дал вкладу окольничий Алексей Иванович Ржевской по деде своем по боярине Иване Андреевиче Милославском и по иных его родителях, которые с ним погребены в сем монастыре под церковию Всемилостиваго Спаса, — в нем весу 46 пудов». Всесвятская церковь своей архитектурой, особенно внутренним благоукрашением, а также дорогою своею утварью с ризницей, может стать в ряду весьма благолепных храмов Божиих. Иконостас в ней весь позлащен; а иконы в иконостасе, расписание купола и стен храма исполнены кистью известного московского художника Николая Герасимовича Степанова.
См. Слово при освящении иконостаса и стенной росписи в Всесвятской церкви г. Киржача (1872 г.).
Всесвятская церковь весьма благолепно украшена строителями храма; она имеет отдельную ризницу, утварь и круг богослужебных книг. Вообще все соборные украшения, утварь и ризницу нужно считать весьма богатыми. Все храмы обнесены сплошною каменной оградой с башнями на 3 углах; святые ворота в ограде, с высоким' верхом, украшены живописными изображениями, имеют надпись о времени основания монастыря.
Всехсвятская церковь и прилегающая к ней пятиярусная колокольня в музейный комплекс не вошли. До 1928 года их арендовал православный приход. В отличие от обновленцев, прихожане Всехсвятского храма придерживались канонических православных принципов и поддерживали сначала патриарха Тихона, а потом его Местоблюстителя митрополита Сергия (Страгородского). В начале 1930 года храм закрыли, а священнослужителей и наиболее активных прихожан осудили за антисоветскую деятельность. В опустевшем здании, которое местные власти сначала хотели продать «на щебень», открыли общественную столовую. Позже Всехсвятская церковь – вместе с лишившейся своих колоколов колокольней и надвратной церковью – переоборудовали под пекарню Городской потребкооперации (ГорПО). Преобразованная в хлебокомбинат, она просуществовала до 90-х годов XX века.