Bei allem hier angeführten (vernünftigerweise nicht bauen) würde ich die Finanzierung der Mehrkosten prüfen. Immerhin scheint es eine ganz besondere Konstellation zu sein.
Grundstück bezahlt und Eigenkapital soviel vorhanden, dass der allergrößte Teil des Hauses finanziert werden könnte. Wenn jetzt 50-70k€ fehlen sollten, wäre das eine Beleihung, abhängig des Grundstückspreises, von rund 30% oder gar weniger und einer Belastung bei 3% Tilgung und 1,5% Zinsen von rund 250€ im Monat. Sobald du irgendwo zur Miete wohnst, sollte diese Position zumindest vergleichbar sein und wenn die 200k selbst und nachweislich angespart sind scheint durchaus Potential da zu sein, hoffentlich nicht "aus früheren Zeiten und aktuell nicht mehr möglich".
Hast du mal bei deiner Hausbank vorgesprochen, ansonsten Volksbank oder eventuell Sparkasse mal anfragen, die Situation ist durchaus besonders.
Es ist nur eine Idee, auch wenn die bisher gegebenen Informationen sehr viel eher einen Rücktritt empfehlen.