Achat vente: Droit de passage non su lors de l'achat de la maison 2015-11-25

Bonjour,
En juin 2014, nous avons acheté une maison avec garage au fond du jardin. Lors du passage chezle notaire, le garage n’apparaissait pas dans l'acte, c'est nous qui avons informé le notaire de son existence alors qu'il était stipulé dans le compromis de vente signé avec l'agence. Mais du coup, le garage n'apparaît pas dans la désignation des biens mais seulement dans les travaux de construction, est-ce normal ?
De plus, en mai 2015, nous avons appris qu'en réalité la rue qui menait au garage, seul accès, était en réalité des terrains privés pour lesquels il fallait un droit de passage que nous n'avons pas. Les vendeurs connaissaient ce fait puisque l'obtention de ce droit de passage était normalement une condition pour la construction...
Même si effectivement nous l’utilisons de manière régulière, nous l’utilisons sans accord, avec toujours une peur d’une plainte contre nous pour passage sur terrain privé sans autorisation. Chaque jour nous avons peur que cet accès nous soit interdit ou pire, que cette personne vende le terrain juste derrière notre garage qui le rendra inutilisable. Sans compter la dévaluation du bien immobilier s'il y a un droit de passage et les préjudices moraux.
Nous avons tenté à deux reprises par courrier AR de nous arranger avec les anciens proprio pour qu'ils mettent en place ce droit de passage à nos noms et nous dédommages pour les préjudices mais évidemment, ils ont commencé par dire qu'ils n'étaient pas au courant que la rue n’était pas communale alors que l'épouse avait précédemment dit qu'il y avait un accord oral... EN plus on se fait traité maintenant de harceleurs et de vouloir nous faire de l'argent sur leur dos ! Et ils parlent sur nous aux voisins également.
Aujourd’hui, nous avons eu la preuve par la mairie que le couple le savait et avait été prévenu de ce droit de passage obligatoire. Nous avons aussi envoyé un courrier AR au notaire qui, nous semble-t-il n'a pas fait son travail en ne se renseignant pas sur ce garage et son accès, notaire qui nous a répondu, sans s'être renseigné évidemment, qu'il s'agissait d'une voie communale...
Quels sont nos recours contre les anciens vendeurs ? Contre le notaire ? Sommes nous en droit de réclamer des dommages et intérêts ? Et surtout d'obliger les anciens vendeurs à acheter ce droit de passage ?
Merci beaucoup