So wie Du die Zufahrt und Abtrennung zum Nachbarn beschreibst, sehe ich keine Möglichkeit zur Stellung eines Fertighauses. Mehrere Laster bringen die vorgefertigten Außen- und Innenwände sowie Dachwände und Giebel - der Kran braucht Platz, Zugang zur Bodenplatte ist wohl erforderlich?!
Ich würde das erst mal abklären, bevor Du Dir weitere Gedanken machst.
Man darf ja auch nicht ohne weiteres schweres Fuhrwerk irgendwo bei Nachbarn abstellen.
Man kann ja auch in Massivbauweise kuschlig bauen, aber da muss auch die Zufahrt gewährleistet sein.