Церковь в честь Смоленской иконы Божией Матери была построена в 1703 году на деньги арзамасского купца Ивана Васильевича Масленкова. Это был почитаемый в Арзамасе человек, духовный друг иеромонаха Иоанна, основателя Саровской пустыни. Последний говорил, что Иван Васильевич был «муж в разуме зело искусен и по премногу рассудителен и во всем полезен, паче же в духовных».
В 1797 году на месте прежнего Смоленского храма была построена и освящена просторная каменная церковь с тем же именем с двумя приделами. Первый — в честь апостола и евангелиста Иоанна Богослова, второй — в честь святого благоверного князя Александра Невского и преподобного Александра Свирского. Храм строился на средства «благочестивых богачей» Масленковых, Корниловых, Быстровых.
В 1932 году храм был закрыт, а затем разрушен. В 2011 году началось восстановление Смоленской церкви.