Переулок проходит углом от Вознесенского проспекта до набережной канала Грибоедова. Первое его название – Глухой – зафиксировано в «Санктпетербургских ведомостях» за 1801 год. В 1821 г. переулок стал Вознесенским, так как начинался от церкви Вознесения Господня, стоявшей прямо напротив него, на месте дома № 34б по Вознесенскому проспекту. В начале XX века в состав переулка включали и небольшой проезд вдоль южной церковной ограды и дома № 34, без названия существующий и поныне. 

15 декабря 1952 г. переулок переименовали в Красноградский, в честь освобождения города Краснограда Харьковской области от немецко-фашистских захватчиков в 1943 г. Прежде город назывался Константиноградом, имя Красноград он получил в 1922 г. Интересно, что Константиноградская улица в Петербурге-Ленинграде тоже была, но в 1975 г. она была упразднена. Она проходила по нынешней территории ЦКБ им. И. И. Ползунова.