Hallo,
ich würde noch mal mit der Gemeinde sprechen, insbesondere §31 Baugesetzbuch spielt Euch in die Karten, weil Euer Fall zwar den Festsetzungen widerspricht, aber dennoch nicht so stark abweicht, dass darunter Personen oder der Ort an sich leiden würde.
Mit Zustimmung der Nachbarn könnte das gehen, wäre zumindest für die Gemeinde ein Argument, das die Gemeinde auch nicht so ohne weiteres aus der Welt schaffen kann.
MfG
Dirk Grafe