Домовая Рождества Пресвятой Богородицы
Церковь при классической мужской гимназии устроена в семидесятых годах девятнадцатого века на средства почетного попечителя В.И. Ковалевского.
Постройка отдельного здания для храма, или пристройка к существующему, обошлась бы слишком дорого, поэтому для этих целей он предложил занять актовый зал гимназии.
Первоначально алтарь находился в южной стороне помещения, затем, для
удобства учащихся и посторонних посетителей, его перенесли на противоположную сторону.
Место священника предложили Федору Покровскому, который отказался, так как не хотел терять место в Успенском соборе.
Священником во вновь устроенной церкви Рождества Пресвятой Богородицы назначили пользовавшегося большим уважением С И . Стефановского. Сан священника был им принят уже в зрелом возрасте. До этого он работал учителем и помощником смотрителя в Екатеринославском духовном училище.
Главный труд по благоустройству храма вынес именно отец Стефановский, о котором П.П. Филевский писал «С поразительным терпением и смирением переносил он неблагоустройство церкви, служил, то под пение постоянно сбивающегося гимназического хора, то под пение пьяного наемного чтеца; но совершая со вниманием и благоговением богослужения и проповедуя каждый праздник, он сделал из убогой, неблагоустроенной церкви, красивый, богатый и посещаемый храм».
Одно время должность старосты занимал Ипполит Ильич Чайковский, который завел в церкви строгие и не совсем обоснованные порядки: указывал прихожанам, где стать, где проходить, кого пускать, а кого не пускать. Никаких пожертвований церковь от него не получила. После отъезда его из города храм обходился без старосты.
С И . Стефановский умер от грудной жабы в 1908 году, прожив 61 год, работая в церкви до самой смерти. С женой и сыновьями он проживал в собственном доме в Полицейском переулке, 27 (ныне Антона Глушко, 35).
Большую поддержку по благоустройству церкви оказал преподаватель алгебры и физики, поляк по национальности, Ипполит Антонович Островский, честный труженик и способный преподаватель. Умер рано от туберкулеза.
Перед революцией настоятелем церкви назначили Александра Николаевича Баландина.
Здание мужской гимназии. Присутствие креста на крыше здания указывает на наличии в доме церкви.