Карл Брюллов родился 12 (23) декабря 1799 года в Петербурге. Предки его происходили из Франции и фамилия художника первоначально звучала как Брюлло. Будучи протестантами, они бежали в Германию после отмены Нантского эдикта, а в 70-е годы XVI11 века поселились в России. Фамилия их была русифицирована лишь в 1822 году с высочайшего разрешения императора Александра I, когда к ней было добавлено русское окончание "въ", и Брюлло стали Брюлловы. Георг Брюлло, прадед Карла, приехал в столицу Российской Империи, где стал работать лепщиком на Императорском фарфоровом заводе. Его внук и отец будущего живописца Павел Иванович занимался резьбой по дереву и миниатюрной живописью. В 1793 году он получил звание академика Императорской академии художеств и начал преподавать в классе орнаментальной скульптуры.
Павел Брюлло был дважды женат. От второго брака с дочерью придворного садовника, Марией Ивановной Шредер, появились на свет четыре сына — Александр, Карл, Павел, Иван и две дочери — Мария и Юлия. Все мальчики учились в Академии художеств: старший Федор впоследствии стал иконописцем, Александр — известным архитектором и мастером акварельного портрета, младший Иван — многообещающий рисовальщик, умер в юношеском возрасте. Одна из дочерей Брюлло стала женой знаменитого акварелиста П.Ф.Соколова.