Kdo by čekal, že Carroll Shelby byl zcela ponořen do své práce a neměl nic jiného čas, šeredně by se spletl. Jeho milostný život připomíná stejně divokou jízdu, jakou si užíval v Cobře. Stihnul sedm manželství a kontroverze pokračovaly i po jeho smrti.
Když se podíváte na život Carrolla Shelbyho, je až neuvěřitelné, co všechno stihnul, i když se dožil krásného věku 89 let. Přestože mu v sedmi letech byla diagnostikována srdeční vada, jeho volnomyšlenkářského a bohémského ducha to příliš neovlivnilo. V armádě létal s bombardéry, podnikal a profesionálně závodil. Pravda, kvůli problémům se srdcem se nakonec přesunul k vývoji automobilů, ale vedle toho založil závodnickou školu, nadaci pro děti se srdečním onemocněním a úspěšně rozjel vlastní značku s čili a ostrým kořením, které tolik miloval. Dokonce vytvořil i vlastní festival pálivých papriček.
Carroll Shelby se rád pohyboval ve společnosti a měl vkus pro atraktivní ženy. Navzdory velkému pracovnímu nasazení měl nebývale bohatý i milostný život. S první manželkou Jeanne Fields se vzali 18. prosince roku 1943. Bylo to v době, kdy Carroll opouštěl armádu, sedadlo bombardéru vyměnil za kancelářskou židli nově založené společnosti na nákladní sklápěče v Dallasu. Bohužel jeho firma neměla dlouhého trvání.
V rodinném životě s Jeanne nijak nezahálel. První dcera Sharon Anne se jim narodila 27. září 1944. O dva roky později přivedli na svět syna Michaela Halla (2. listopadu 1946) a o rok později se jim narodil další syn Patrick Bert (23. října 1947). V padesátých letech Carroll naplno rozjížděl svou závodnickou kariéru v Americe i Evropě. Časté cestování samozřejmě ovlivnilo manželství s Jeanne, ale nebyl to jediný důvod. Carroll s odstupem času přiznal milenecký poměr s herečkou Jan Harrison. S Jeanne se rozvedl v únoru 1960, kdy se zároveň přesunul do Kalifornie s cílem otevřít zastoupení Goodyear Racing Tire. Ona i děti zůstali v Dallasu.
V roce 1962 plánoval svatbu s Jan, ale na poslední chvíli byla svazek zrušen. Potřetí bylo spíše velkorysým skutkem než vidinou lásky na celý život. Potřetí se Carroll oženil se Seu Stafford pocházející z Nového Zélandu, jen aby se mohla legálně přestěhovat do USA. Není proto divu, že po krátkém čase šli každý jinou cestou. Čtvrtý sňatek uzavřel se Sandrou Brandstetterovou, ale po třech letech šli opět od sebe.
Poté si dal od závazků na dvě desetiletí pokoj. Během té doby ukončil závodní spolupráci s Fordem, nějaký čas pobyl v Africe a rozjel nové projekty s Chryslerem na modelech značky Dodge a stranou nezůstala ani jeho speciální čili prodávaná pod značkou Carroll Shelby's Original Texas Brand Chili Preparatio.
Dlouhotrvající samotu přerušila v roce 1989 svatba s bývalou herečkou a královnou krásy Cynthií Psarosovou. Její otec byl navíc stíhacím pilotem a plukovníkem námořní pěchoty. O rok později podstoupil Carroll transplantaci srdce. Společné soužití jim ale vydrželo jen do rozvodu v roce 1994.
Krátce na to si vzal Lenu Dahl, filantropku původem ze Švédska, kterou poprvé potkal v roce 1968. Starala se o společný charitativní fond a ve volném čase ráda jezdila na koni. Právě při cestě za prohlídkou nového koně, oslněná sluncem ztratila nad vozem kontrolu a při nehodě zemřela. K tragédii přispěl i fakt, že neměla zapnutý bezpečnostní pás.
Carroll Shelby se očividně z momentů truchlení rychle vzpamatoval a po pouhých čtyřech měsících vstoupil v roce 1997 do posledního svazku s výrazně mladší modelkou (rozdíl činil 25 let), která si nechala říkat Clea (rodným jménem (Rendell-Robertsová). S ní zůstal až do své smrti 10. května 2012.
S Cleou se pojí bizardní soudní spor vedený se Shelbyho syny ohledně naložení s Carrollovým tělem. To prý dlouhou dobu leželo v márnici, ale nakonec se obě strany domluvily na jeho zpopelnění. Ostatky byly rozděleny na pětiny s tím, že rovnocennou část dostala manželka i tři děti a poslední pětina byla uložena na rodinném pozemku Carrollových rodičů v texaském Leesburgu.