Droit famille: Allocations familiales, mère divorcée divorcée dep 2014-08-04

Bonjour,
Je suis divorcée depuis 3 ans, et ai 2 enfants. Avec leur père nous partageons la garde alternée depuistout ce temps, mais vu la différence de salaire (lui a 3X le mien), le juge lui impose de me verser une pension alimentaire mensuelle pour nos enfants.
Travaillant à temps partiel (faute de mieux), je me débrouille avec ce que j'ai (pension et allocations familiales), mais il y a peu, la CAF, ma réclamé un remboursement de mes 2 dernières allocations de rentrées scolaires (alors que j'étais déjà divorcée officiellement), sous prétexte que mon ex-mari travaille en Suisse.
Ils me saisissent une partie de mes allocations tous les mois, et j'ai l'impression de me faire avoir, je ne comprends pas.
Lorsqu'on lit que les conditions de ressources des allocations sont calculées sur la totalité des revenus "du foyer", et que je vit seule depuis des années, j'ai du mal à comprendre en quoi, les revenus de mon ex mari concerne mes droits.
D'autant plus que j'ai droit aux allocations familiales et à l'APL!
Je sais bien que la suisse a un statut particulier, et que les travailleurs frontaliers ont des aides de ce pays, mais moi je n'ai aucun droit la dessus, et je me retrouve a rembourser une somme astronomique...
Avec la CAF, pas moyen de discuter, ils restent sur leur position, même mon ex mari les a joints par téléphone pour leur expliquer, mais en vain, je suis pénalisée...
Merci de me conseiller, ou m'expliquer à y voir plus clair.
Cordialement