Können und Dürfen sind nicht gleich.
Auch ein Gartenhaus muss genehmigt werden. Entweder per Befreiung im Bebauungsplan, oder per Antrag bei der zuständigen Behörde.
In Deutschland darf nicht jeder einfach Häuser, egal welcher Größe, auf sein Grundstück stellen. Bei der Baugenehmigung müssen Nachweise zur Statik erbracht werden, damit bewiesen ist, dass dein Haus ned zamfällt.
Geh mal zu deinem zuständigen Bauamt und frag nach, was du auf dein Grundstück bauen darfst. Und: Auch wenn die Nachbarn Schwarzbauten haben (nicht genehmigte Bauten), darfst du im Umkehrschluss nicht das Selbe bei dir bauen.