Der Wunsch nach dem Eigenheim scheint mir übergroß. Offenbar würdest Du vieles dafür opfern. Was ist mit Deiner Frau? Sieht sie das auch so?
Die Zeit für die Grundstückssuche und Planung ist eine gute Probezeit. Meist dauert das an die 2 Jahre oder gar mehr. In dieser Zeit könnt Ihr Euer Eigenkapital mal kräftig wachsen lassen. Fang am besten gleich heute an.
Für 5 Menschen zu bauen, ist keine Kleinigkeit. Es steht aber nirgends im Gesetz, dass 2 Kinder nicht in einem Zimmer groß werden dürfen. Man könnte auch alle 3 zusammen schlafen lassen und das andere Zimmer ist Spielzimmer o.ä. Man könnte auch einfach sagen, dass 2 Kinder genug sind.
Mit dem Haus, was Dir gefällt, liegst Du ja schon weit über Deinen 130m² und es fehlt ein vollwertiges Schlaf- / Kinderzimmer. Da siehst Du schon, wo die Reise hin ginge. 150m² wäre zu fünft eher Minimum ohne Keller. Das sehe ich bei der Finanzlage nahezu utopisch.