Ему было под пятьдесят, когда он женился на молоденькой Лопухиной. Жена оказалась не под стать ему: больше молилась и вскоре умерла, оставив ему дочь. Орлов всегда жаловался:

      – Даже нарядов не нашивала. В икону ткнется – и все тут! В дерюжном бы мешке такую таскать… Нет, это не по мне!

      Ему больше нравилась его старая метресса Марья Бахметева, с которой он жил, как собака с кошкой, и они то разводились с громом и молниями, так что вся Москва бурлила, то снова съезжались, дружески иронизируя по поводу своих «разводов».

      – Эх, Алешка! – говорила Марья. – Шумишь ты, а ведь от меня никуда не денешься… Для всех ты граф Чесменский, а для меня ты князь Деревенский! Лучше б ты подарил мне что-либо…

      К дочери Орлов относился деспотично. Если его навещал человек, достойный уважения, он призывал к себе юную графиню:

      – Вишь, гость-то каков! Или мы тебя, никудышную, сейчас с кашей съедим, или… мой полы в честь гостя приятного!

      Графиня тащила ведро с водой, устраивала поломытие.

      – Да не так моешь! – кричал на нее отец. – Не ленись лишний раз тряпку-то выжать… Это тебе не Богу маливаться!

      Тургеневский герой, однодворец Овсянников, вспоминал: «Пока не знаешь его, не взойдешь к нему, боишься, точно робеешь, а войдешь – словно солнышко пригреет – и весь повеселеешь… Голубей-турманов держал первейшего сорта. Выйдет, бывало, во двор, сядет в кресло и прикажет голубей поднять; а кругом на крышах люди стоят с ружьями против ястребов. К ногам графа большой серебряный таз поставят с водою: он и смотрит в воду на голубков… А рассердится – словно гром прогремит. Страху много, а плакать не на что: смотришь – уж и улыбается».

      Совсем иное впечатление производил Орлов на иностранцев.

      Англичанка мисс Вальмонт признавалась, что при виде Алехана все ее тело охватила дрожь ужаса, а когда ей следовало поцеловать Орлова в изуродованное лицо, она чуть не упала в обморок. Чесменский герой казался нежной мисс каким-то чудовищем, и ей было странно видеть, как средь азиатской роскоши свободно и легко двигался этот «дикий варвар» в распахнутом на груди кафтане, с повадками мужика-растяпы и при этом носил на руках чью-то маленькую, чумазую девочку, которую он нежно целовал и еще приплясывал, забавляя ребенка: