Die Lösungen von jan ist eigentlich identisch mit deiner, Frosch.
Wenn bei dir nichts vernünftiges herauskommt, kann das eigentlich nur an den Daten in der Datenbank liegen, denn die Formel sieht korrekt aus. Sind die Koordinaten in der DB vielleicht schon in Radian und nicht in Grad?

(Wenn solche Abfragen häufiger kommen, wäre es vielleicht sogar sinnvoll, die Koordinaten gleich in Radian zu speichern, damit nicht jedesmal tausende Male umgerechnet werden muss.)