Przy budowaniu ozdobnego ogrodu skalnego bardzo ważna jest jego odpowiednia lokalizacja w ogrodzie. Trzeba się zastanowić, gdzie w ogrodzie jest najwięcej słońca w ciągu dnia lub która strona jest zawietrzna, a która nawietrzna. Zgodnie z tymi kryteriami następnie należy wybrać najbardziej odpowiednie miejsce na swój ogród skalny w ogrodzie.
Odpowiednie miejsce w ogrodzie jest szczególnie ważne w przypadku kwiatów i porostów, które znajdą się w ogrodzie skalnym. Najczęściej w ogrodowym skalniaku sadzi się kolorowe, kwitnące byliny lub mało wymagające, wiecznie zielone skalnice.
Ale są też różne rodzaje traw ozdobnych i majestatyczne drzewa ozdobne. Ostatnio bardzo popularne jest sadzenie w skalniaku różnych ziół pachnących lub leczniczych, takich jak mięta, wiciokrzew czy szałwia.