В годы Великой Отечественной войны, в Первомайском (бывшем Сталинском) районе города Ростова-на-Дону был открыт Православный молитвенный дом в честь иконы Божией Матери «Одигитрия». В 1964 году исполнительная местная власть приняла решение о ликвидации прихода. В девяностые годы, с началом возрождения Православия в России, по многочисленным просьбам жителей, руководством города Ростова-на-Дону было принято решение восстановить разрушенную святыню. Под строительство нового храма был отведен участок в сквере имени Серго Орджоникидзе. День 28 марта 1997 года стал датой официального образования нового Православного прихода в честь иконы Божией Матери «Умиление». Название храма было принято на первом собрании прихожан. Во время строительства храма богослужения проходили в арендованном помещении производственного цеха, находившемся рядом в сквере. 25 марта 1998 года по благословению Владыки Пантелеимона заложен первый камень под строительство нового храма. 23 марта 2004 года над храмом уже сияли золотые купола. 10 августа 2005 года стали совершаться первые богослужения. 3 августа 2008 года состоялось Великое освящение нового храма во имя иконы Божией Матери «Умиление», которое совершил Архиепископ Ростовский и Новочеркасский Пантелеимон.