S obzirom na to da je osvojio dva svjetska prvenstva u Formuli 1 Brabhamova žena potaknula ga je da se umirovi nakon sezone 1965. godine.
Njegova momčad nije ga trebala na vozačevom mjestu. Nije bilo vrijedno rizika – Formula 1 bio je opasan sport.
Međutim, sezona 1966. godine promijenila je sve. Dok su sve druge momčadi eksperimentirale s novo dopuštenim 3,0-litarskim V12 motorima, Brabham je igrao na sigurno. Znao je da će V8 motor izrađen od postojećih dijelova dati automobilu njegove momčadi manje snage, ali veću prednost u smislu sigurnosti. Uzbuđen izgledima za tu V8-V12 borbu te mučeći se s pronalaskom kompetitivnih vozača za svoju istoimenu momčad, Brabham se ponovno našao iza volana utrkujući se na gumama tvrtke Goodyear.