Так строились его дни на протяжении 40 лет лишь с редкими и немногими исключениями. Он выезжал вместе с родными на летние каникулы, иногда посещал родственников, но всегда стремился поскорее вернуться домой, а на публике не желал появляться ни в коем случае. И все же, несмотря на такую уединённую жизнь и постоянные болезни, Дарвин любил эту жизнь в Даун-Хаусе в окружении близких. У них с Эммой родилось десять детей.