Pas dit que ce soit a cause du wifi.
Perso sur mon FTTB 200M/200M, en wifi j'ai ca

25ms de ping sur un serveur a 1600km de chez moi.
(ya pas nperf dans ma ville)
Mais via speedtest dans ma ville, ca me donne ca:

3ms
Et tout ca en wifi mais 5ghz, pas 2.4, ca doit peut etre y jouer.
Mais je trouve quand meme que 23ms c'est beaucoup.
Speedtest te donne une valeur similaire? Tu as essaye en cable ethernet juste pour essayer?
Si malgre tout cela le ping reste >10-15, je ferai un "traceroute" pour comprendre ou vont les packets et ou est le goulot. (De mon cote ou cote FAI).
Bon crunch!