Смоленскую церковь для себя построили монастырские трудники (кузнецы, ткачи и каменщики), населяющие Слободу Скучилиху. В 1709 году к деревянной церквушке прибавилась каменная церковь Смоленской иконы Божией Матери. Вскоре храм дополнили зимним храмом, а через 100 лет колокольней. Так завершился архитектурный ансамбль. Храм выглядит довольно просто. Украшает его стены изящные барабаны покрыты резьбой и увенчаны луковыми главами серо-стального цвета.

Декор северной стены украшен больше, чем другие. Дело в том, что по дороге со стороны Ярославля постоянно проезжали торговцы. Возможно, северная стена должна была привлекать проезжающих, чтобы те заходили, ставили свечку и оставляли пожертвования. Ну а может стены украшали разные мастера.