TED Kennedy, Joseph ve Rose Kennedy çiftinin 9 çocuğunun en küçüğüydü. Ailenin erkek çocuklarından Joseph, İkinci Dünya Savaşında bir uçak kazasında öldü, birkaç sene sonra kız kardeşi Kathleen Fransa'da bir uçak kazasında hayatını kaybetti. Bir başka kız kardeş Rosemary, hafif zeka geriliğinden mustaripti, 23 yaşında geçirdiği lobotomi ameliyatı yüzünden tamamen engelli oldu. Ted'in ağabeyi başkan John Kennedy 1963'te diğer ağabeyi, Robert Kennedy de 1968'de suikaste kurban gitmişti. Ted'in ölümüyle Kennedy ailesinde "meşaleyi devredecek kimsenin kalmadığı yorumları yapılıyor.