Pärast kahe vormel 1 maailmameistrivõistluse võitmist veenis Brabhami naine teda 1965. aasta hooaja järel lahkuma.
Tema meeskond ei vajanud teda kokpitis. See polnud riski väärt – vormel 1 oli ohtlik spordiala.
Kuid 1966. hooaeg muutis kõike. Kui teised tiimid eksperimenteerisid äsja loa saanud 3,0-liitrise V12-mootoriga, siis Brabham oli ettevaatlik. Ta teadis, et olemasolevatest osadest kokku pandud V8-mootor pole nii võimas, aga selle eeliseks on töökindlus. Kuna Brabham oli V8-V12 lahingust vaimustatud, aga ei leidnud oma tiimi konkurentsivõimelist juhti, siis asus ta veelkord Goodyeari rehvidega võidusõiduauto rooli.