Prinzipiell ist das machbar und vermutlich eine bessere Situation als viele andere.
Rechnen solltest du euer Hinkommen mit nur einem Gehalt zur Sicherheit.
Damit sollte es machbar sein, noch vor Renteneintritt alles abzubezahlen.
Wenn du, wie zuvor gefordert, den "Puffer" mit einzelnen Posten aufdröseln kannst, dann ist es meiner Meinung nach kein Puffer mehr. Was ich damit sagen will ist, diesen Puffer solltest du in keinster Weise mit konkreten Maßnahmen bedacht haben, sodass er wirklich für absolut noch unbekannte Kosten zur Verfügung steht (und die kommen eigentlich immer). Andernfalls müsstest du deinen Puffer erweitern, wenn du bereits jetzt realistische/ wahrscheinliche Szenarien zum Aufbrauchen des Puffers hast.
Bedenke auch das Haus höhere Nebenkosten zzgl. Steuern und Versicherungen verursachen als eine Wohnung.
Ich würde, ohne die Rahmenbedingungen zum Haus und Grundstück und deren Sinn oder Unsinn zu hinterfragen, das Vorhaben weiter verfolgen auf Basis der gegebenen Angaben.
Mit der Bank sollten Möglichkeiten zu Ratenwechsel und Sondertilgung vereinbart werden (ohne dass sich der Zins verändert), sodass ihr z.B. auf Jobverlusst reagieren könnt. Außerdem würde ich eine sehr lange Zinsbindung empfehlen (mind. 20 Jahre). Höherer Zins, dafür schläfst du in den Jahren 5-10 nicht so unruhig.