Panemunės pilis pastatyta ant Nemuno dešiniojo kranto aukštumos kyšulio, šalia Kauno - Jurbarko plento. Pilies pavadinimas kelis kartus keitėsi. Pirminį pavadinimą ji gavo nuo Panemunės dvaro, kurio žemėje buvo pastatyta. Kai jos savininkai tapo Gelgaudai, vadinta Gelgaudų pilimi. Po 1831 m. sukilimo įsigalėjo Zamkaus vardas. XX a. pr. netoliese įsikūrė kaimas, kurį vienuoliai saleziečiai pavadino Vytėnais; pagal tai ir pilį tuo vardu imta vadinti. Dabar ji vėl vadinama Panemunės pilimi.
 

Vienai seniausių Lietuvoje Jurbarko rajone stovinčiai Panemunės (Vytėnų) piliai planuojama skirti apie 9 mln. litų.

Norima sutvarkyti ir turizmo reikmėms pritaikyti vakarinį korpusą ir greta esančius du bokštus. Neabejojama, kad atnaujinus 400 metų senumo pilį lankytojų skaičius išaugtų trigubai.