Яркие черты личности Захаржевского отмечены в многочисленных рассказах современников. Однажды в саду он увидел наследника, будущего императора Александра II, ехавшего по дорожке для пешеходов, и почтительно предложил ему вернуться, сказав: «Вы тот, который должен служить примером, а не делать беспорядки». Наследник, сконфузившись, поехал обратно и до воцарения своего не проявлял приязни к Захаржевскому, но в первый же приезд в Царское Село по восшествии на престол Александр II посетил Якова Васильевича и впоследствии часто с юмором вспоминал, как тот выгнал его с дороги.

      От природы подвижный, генерал не мог долго сидеть, а тем более стоять, поскольку правую ногу ему заменял костыль. Говел он всегда в Знаменской церкви и во время службы переходил с одного места на другое, позабывшись и посвистывая (следствие увлечения голубями). Священник Гавриил Одоевский, однажды заметив это, обратился к нему во время богослужения и попросил соблюдать должное уважение к храму и святости. «Виноват, батюшка, позабылся, – ответил Яков Васильевич, – впредь постараюсь этого не делать», а по выходе из храма сказал ктитору, что это не поп, а священник, его следует уважать.

      Особенно запомнилось современникам происшествие в Екатерининском соборе. Захаржевский приехал на Пасхальной неделе к концу обедни и стал подходить вместе со всеми, чтобы приложиться к Кресту, но священник двинулся ему навстречу, расталкивая народ. Увидев это, Яков Васильевич свернул в сторону к аналою, где лежал также крест, приложился и стороной пошел к выходу, где и остановился. Дождавшись, когда все разойдутся, он подошел к священнику за благословением и сказал: «Батюшка, много было, пожалуй, менее меня грешных, которых следовало предпочесть, да и недостоин я, чтобы изображение Спасителя несли ко мне навстречу: сам я подойду к нему и земно поклонюсь».

      Яков Васильевич Захар жевский был яркой личностью и заслуженно пользовался благоволением трех императоров. Николай I наделил его губернаторскими полномочиями. Прослужив в Царском Селе 48 лет на посту Главноуправляющего дворцовыми правлениями и городом Царское Село (после его смерти пост главноуправляющего отменили), Я.В. Захаржевский скончался в 1865 г., похоронили его в соборе. Плита с памятной надписью «От граждан» находилась в правом приделе на западной стене. В тексте содержались следующие сведения: «Захаржевский Яков Васильевич, генерал от артиллерии, разных орденов кавалер, первый почетный гражданин г. Царского Села, главноуправляющий дворцовыми правлениями, г. Царским Селом и государевою вотчиною, которою управлял 40 лет, начиная с 13 февраля 1817 г., родился 23 октября 1780 † 1 марта 1860 года». Ошибки в цифрах «40 лет» и «1860», содержавшиеся в опубликованной надписи, перешли впоследствии во многие справочные издания. Возле надгробной плиты