После ссылки Меншикова «фахверковый дом» находился в ведении конторы конфискаций. В 1732 году стал принадлежать вице-канцлеру графу Андрею Ивановичу Остерману. Но и новый хозяин в 1741 году попал в немилость и по указу Елизаветы Петровны отправился в Сибирь. А вскоре участок подарен графу канцлеру Алексею Петровичу Бестужеву-Рюмину.

      В 1744–1747 годах дом был перестроен в настоящий дворец в стиле барокко. Со стороны Старо-Исаакиевской (ныне Галерной) улицы здание украсила трёхъярусная башня с часами, привезёнными канцлером из-за границы. Но и Бестужеву-Рюмину пришлось оставить дворец не по своей воле: в 1758 году он был обвинён в заговоре и приговорён к смертной казни, заменённой на ссылку. После восшествия на престол Екатерины II канцлер был помилован. Но во дворец он не вернулся, так как туда из здания Двенадцати коллегий переехал Сенат. Правда, бывшему владельцу за дворец была заплачена денежная компенсация.

      В 1780-х годах здание Сената было перестроено архитектором И.Е. Старовым в стиле классицизма. Но, несмотря на перестройки и обновления, старое здание быстро ветшало. В 1808 году его стены были укреплены «железными связями», а в большом зале установили подпоры-колонны. В это же время проводились работы по замене балок и стропил.

      В 1810-х годах со стороны Галерной улицы по проекту Л.И. Шарлемана к зданию Сената был пристроен новый трёхэтажный корпус для типографии. А сразу за Галерной улицей находился дом купчихи Кусовниковой.

      После победы над Францией статус России требовал нового архитектурного стиля, которым и стал ампир. Кроме того, Сенат хотел размещаться в соответствующем своему статусу помещении. К тому же увеличилось число его служащих. 10 августа 1827 года император Николай I посетил Сенат и принял решение перестроить это здание.

      Тогда же было принято решение перевести сюда и Синод, освободив таким образом полностью здание Двенадцати коллегий для нужд петербургского университета.

      Император повелел строить новый дом Сената по образу и подобию здания Главного штаба на Дворцовой площади.

      13 сентября 1827 года был объявлен конкурс на перестройку зданий. В нём участвовали несколько известных архитекторов. Например, Поль Жако предлагал построить одно общее здание, напоминавшее галерею Лувра. Стасов планировал перестроить лишь здание Сената. Карл Росси же составил проект двух новых зданий. Несколько раз этот проект перерабатывался архитектором, в итоге