Xàbia liegt an einer etwa 3 km langen Bucht zwischen dem
Cap de Sant Antoni im Norden und dem
Cap de la Nau im Süden nebst einem kurzen Küstenabschnitt weiter südwestlich davon. Der Küstenverlauf zeigt im nördlichen Abschnitt einen etwa 6 km langen, flachen und steinigen Strand, in dem sich bei
Arenal eine etwa 250 m lange, halbkreisförmige Bucht mit Sandstrand befindet. Der südliche Abschnitt des Küstenverlaufs ist von steilen Felsen geprägt, in die sich die kleinen Badestrände
Cala Sardinera,
Cala Barraca/ Portitxol, Cala Ambolo und
Cala Granadella einschneiden. Nördlich von Xàbia, im botanischen Schutzgebiet der Region Valencia erhebt sich der 753 m hohe
Montgó, eingelagert im Parque natural del Macizo del Montgó. Zum Landesinneren hin erstrecken sich weitläufig Obst- und Weingärten. In Xàbia mündet der Riu Gorgos, der, im Sommer meist trockenliegend, in der Nähe von Benichembla entspringt. Durch seine günstige Lage zählt ist Klima in Xàbia besonders angenehm: Von wenigen Ausnahmen abgesehen werden weder sehr hohe, noch sehr niedrige Temperaturen gemessen. Selbst im Januar beträgt die durchschnittliche Tagestemperatur noch 16 Grad Celsius. Die Wassertemperatur des Mittelmeeres beträgt im Sommer angenehme 25 Grad. Zwei bis vier Regentage im Monat sind der Schnitt.
Im historischen Ortskern La Villa stehen das Rathaus, der Markt Mercado de Abastos, das Kulturzentrum, das Archäologische und Ethnologische Museum und die Kapelle von Santa Ana. Zwei Kilometer vom Altstadtzentrum entfernt, befindet sich der Hafen, der See- und Hafenbereich von Javea, wo die Kirche Ntra. Señora de Loreto mit einer als Schiffsboden 
gestalteten Decke beeindruckt.
