Skalka liegt drei Kilometer nordwestlich vom Ortskern Hazlovs entfernt. Etwa gleich weit entfernt befindet sich südwestlich Lipná. Westlich des Dorfes liegt dichter Wald. Anderthalb Kilometer nördlich liegt Výhledy. Im Osten liegt, knapp drei Kilometer hinter einem Waldstück, jedoch ohne direkte Straßenverbindung, das sächsische Schönberg.
Skalka bedeutet in tschechischer Sprache „Felschen“, was wohl auf die Goethefelsen in einem Waldstück nordwestlich von Rommersreuth zurückzuführen ist. Diese wiederum gehen ihres Namens halber auf den Aufenthalt Johann Wolfgang von Goethes in der Ortschaft zurück.