Po dveh osvojenih naslovih prvaka Formule ena ga je žena pregovorila, da po sezoni 1965 preneha z dirkanjem.
Njegovo moštvo ga ni potrebovalo v kokpitu. Tveganje se ni izplačalo – Formula ena je bil nevaren šport.
Toda v sezoni 1966 se je vse spremenilo. Medtem ko so druga moštva eksperimentirala z novimi 3-litrskimi motorji V12, se je Brabham odločil za preskušen agregat. Vedel je, da bo imel z osemvaljnikom iz obstoječih delov njegov dirkalnik manj moči, imel pa bo prednost zaradi zanesljivosti. Ker ni uspel najti konkurenčnih voznikov, ki bi z njegovim istoimenskim moštvom bili boj med osemvaljniki in 12-valjniki, je Brabham znova sedel za volan dirkalnika na pnevmatikah Goodyear.