Alytaus piliakalnis buvo įrengtas natūraliame kalne ir stūkso Nemuno upės dešiniajame krante, kur Alytupio upelis, apjuosęs piliakalnį įteka į Nemuną. Būtent nuo šio upelio, tekėjusio pro pilį, pavadinimo kilo miesto pavadinimas. Teigiama, kad XIV a. ant piliakalnio stovėjo medinė pilis – vienas iš Lietuvos gynybos nuo kryžiuočių pastatų, kurią 1377 m. kryžiuočiai sudegino. Nors pilies ir nebėra, tačiau panorama, atsiverianti nuo piliakalnio viršūnės, verta dėmesio.
Šiandien piliakalnis – vienintelis miesto praeities liudininkas, apipintas legendomis. Viena jų pasakoja, kad kadaise gyvenusi bajoro Raimonio duktė Mirgrausėlė ir kunigaikščio Smūkninio sūnus Alyta, kurie vienas kitą pamilę. Nepaisant to, Mirgrausėlė turėjusi tapti vaidilute. Tuo metu vietos pilį užpuolę kryžiuočiai. Kovoje kritę visi Raimonio kariai ir tik vienas Alyta išlikęs gyvas. Jis prasiveržęs iš kryžiuočių apsupimo, nujojęs į Gabijos kalnelį, kur Mirgrausėlė kursčiusi šventąją ugnį, ir ją paslėpęs, o pats grįžęs į kovą. Nors ir narsiai kovojęs nuo žūties Alyta neišsigelbėjo. Mirgrausėlė, sužinojusi apie Alytos mirtį, taip graudžiai verkusi, kad jos ašaros upeliu pradėjusios tekėti į Nemuną. Upelis žynių buvo pavadintas Alytupiu, Gabijos kalnelis – Mirgrausėlės piliakalniu, o nuo Alytupio pavadinimą gavęs Alytaus miestas. Ir šiandien į Nemuną teka Mirgrausėlės ašarų upelis, o seni žmonės sako, kad iš to upelio atsigėrus, kas nemylėjęs – įsimyli, o kas myli – meilė dar tvirtesnė tampa.
Kita legenda pasakoja, kad ant piliakalnio buvo pastatytas moterų vienuolynas. Tas vienuolynas nugrimzdo į žemę, o jo varpas nukritęs į Nemuną ir iki šių dienų skambina kiekvieną sekmadienį 12 valandą šventų Mišių metu.
Piliakalnio papėdę puošia skulptūrų ekspozicija „Alytaus piliakalnio protėviai“. Šiandien piliakalnis ir jo apylinkių vietos yra istorinis - landšaftinis draustinis.