Когда в ХХ веке торговое и религиозное значение Рыбинска ослабло, старый центр потерял былое значение. С развитием города активная жизнь утекала в сильной мере в новые районы. К тому же эпоха не жаловала прошлое и не ценила его архитектурные декорации. Исторический центр Рыбинска не был радикально перестроен, он сохранился целыми кварталами XVIII–XIX веков и сегодня являет собой яркий пример классической провинциальной застройки. Герчук и Домшлак писали: «Город рос, становился промышленным, застраивались многоэтажными кварталами далекие окраины, а центр, сформировавшийся в первой половине XIX века, остался почти нетронутым. Он сохранил не только отдельные здания, но нечто более важное – общий облик, общий характер старого города, ясную логику его планировки, его некрупный масштаб, цельность и единство застройки, которую не нарушают и отдельные позднейшие здания, если они подчинялись этому масштабу. Так вписался в ансамбль улицы Ленина и по-своему обогатил ее строгий конструктивистский кинотеатр начала 30-х годов».

      Но утраты велики. Например, не сохранились здание рыбинского театра, памятник царю-освободителю Александру II работы Александра Опекушина. Снесены многие храмовые сооружения, в том числе – имевшие доминантное значение колокольня Казанского прихода и Крестовоздвиженский храм, храм во имя Нерукотворного образа Христа Спасителя. Рельеф города сравнительно с XIX – началом ХХ веками сильно обеднен.

      До последнего времени исторический центр города выглядел довольно уныло. Особенно в середине ХХ века: фотографии той эпохи фиксируют износ и разрушения; удручающее впечатление производит Спасо-Преображенский собор без куполов, с каким-то странным навершием.

      Ощущение запущенности, особенно на фоне довольно благополучных новых кварталов, посещало меня, когда я оказывался здесь и в 1980-х годах, и после. Обшарпанные фасады, разрушающаяся