Mon constructeur veut m'obliger à construire une maison qui ne me convient pas

Bonjour,

J'ai signé un contrat de construction de maison individuelle en juin. Le prêt est accordé par la banque. Le permis de construire est accordé sous réserve de respecter certaines prescriptions des bâtiments de France. Ces prescriptions modifient énormément le projet et la maison ne correspond plus ni à mes goûts, ni à mes besoins. Le permis de construire à été accordé fin septembre mais il n'est toujours pas affiché. Le constructeur me dit que je me suis engagé à faire construire et que si le projet n'aboutit pas, je lui dois 10% de la construction + 10% pour le lotisseur + 10% de pénalités. Le contrat ne fait mention que de 10% de la construction. Suis-je en droit de refuser les nouveaux plans ? Si oui, quelle démarche faut-il faire ? Comment savoir si je lui dois de l'argent et combien je dois exactement ?

Merci par avance.