Die Zufahrt zu Deinem westlichen Nachbarn erfolgt im Norden als sogenanntes Pfeiffenkopfgrundstück. Offenbar hatte man hier Bedenken hinsichtlich des Verkehrsaufkommens, dass die Einfahrt im Süden den Verkehr behindern könnte. Das ist schade, denn sonst hätte Euer Grundstück nicht unerheblich größer sein können. Wenn das noch verhandelbar ist und er doch vom Süden erschließen darf und will, würde ich sofort auf den West-Nachbarn zugehen und versuchen, die qm im Norden dazu zu kaufen.
Wenn hingegen da nix läuft, wird die entscheidende Frage, wo wollt Ihr Eure Terrasse haben? Im Süden ist zwar Sonne aber auch der Lärm und Verkehr. Der Bebauungsplan sieht anscheinend den Gartenbereich trotzdem im Süden vor. Wenn Ihr dem folgt, wäre die Erschließung von Norden auch für Dich attraktiv.
Dein Grundstück ist sehr klein. Die Bebauung als Doppelhaushälfte ist nicht nur sinnvoll, um überhaupt eine Terrasse zu haben. Die Gebäudehöhe würde vermutlich zusätzlich Abstandsflächen von über 3m auslösen. Wenn Du wenigstens 144qm bauen möchtest, wirst Du wohl die Höhe ausschöpfen müssen.
Die Nachteile gegenüber Einzelhaus sind natürlich, den Baupartner zu finden und noch viel schwieriger, sich mit dem zu einigen.
Die exakten Grundstück-Maße wären hilfreich um die Optionen auszuloten.