Καθώς είχε κερδίσει δύο παγκόσμια πρωταθλήματα στην Formula 1, η σύζυγος του Brabham τον παρακινούσε να αποχωρήσει από τους αγώνες μετά τη σεζόν του 1965.
Η ομάδα του δεν τον χρειαζόταν στο πιλοτήριο. Δεν άξιζε τον κίνδυνο - η Formula 1 ήταν ένα επικίνδυνο άθλημα.
Ωστόσο, η σεζόν του 1966 θα άλλαζε τα πάντα. Ενώ άλλες ομάδες πειραματίστηκαν με τους νέους κινητήρες V12 3,0 λίτρων που μόλις είχε επιτραπεί η χρήση τους, ο Brabham έπαιξε εκ του ασφαλούς. Γνώριζε ότι ένας κινητήρας V8, κατασκευασμένος από υπάρχοντα εξαρτήματα, θα πρόσφερε στα αυτοκίνητα της ομάδας του μικρότερη ισχύ, αλλά θα τους έδινε το πλεονέκτημα από άποψη αξιοπιστίας. Ενθουσιασμένος από την προοπτική αυτής της μάχης μεταξύ V8 και V12 και προσπαθώντας να βρει ανταγωνιστικούς οδηγούς για την ομώνυμη ομάδα του, ο Brabham βρέθηκε και πάλι στο τιμόνι, να αγωνίζεται με ελαστικά Goodyear.