Znajduje się nad rzeką Poprad, przy drodze krajowej DK 87 łączącej Nowy Sącz z Piwniczną – Zdrój i przejściem granicznym ze Słowacją. Mowa o zamku Rytro, o którym najstarsze wzmianki pochodzą z 1244 roku od Jana Długosza.
Zamek położony jest na wzgórzu /na wysokości 463 m n.p.m./, a zbudowany został prawdopodobnie na przełomie XIII i XIV wieku. Najstarszy zamek był zapewne tzw. stróżą z wieżą, zameczkiem oraz murami. Rozwój zamku przypadł na XIV i XV wiek, kiedy obok funkcji obronnych i gospodarczych spełniał także funkcję reprezentacyjną.
Malownicze ruiny – Zamek nad rzeką Poprad – Rytro, fot. Tomasz Sanecki
O zamku wspominają dokumenty wystawione przez króla Władysława Łokietka, który był jego właścicielem. Jego kolejnymi właścicielami byli potem Toporczykowie, Ryterscy, a w XVI wieku Piotr Kmita. Zamek już wówczas popadał w ruinę, a doszczętnie został zniszczony podczas szwedzkiego potopu w 1657 roku przez wojska sojusznika szwedzkiego księcia Siedmiogrodu Jerzego II Rakoczego.