Ten, kur dabar yra trys kryžiai, Gedimino laikais stūksojo medinė pilis. Pilis praminta Kreivąja, nes kalnas, ant kurio ji stovėjo, vadintas Kreivuoju, o vėliau Plikuoju. Užpuolus priešams, į pilį subėgdavo visi Vilniaus miesto ir apylinkių gyventojai. 14 amžiaus pabaigoje, po ilgos kryžiuočių apsupties, pilis buvo užimta, sugriauta ir sudeginta.
Trijų kryžių kalnas primena pagonybės laikus, kai Vilniuje buvo nužudyti septyni vienuoliai pranciškonai. Pranciškonų atminimui pagerbti ant kalno buvo pastatyti mediniai kryžiai. 1916 metais toje vietoje iškilo skulptoriaus Antano Vivulskio Trijų kryžių paminklas iš gelžbetonio. Tais laikais betonas buvo visiškai nauja statybos medžiaga, o Trys kryžiai – vieni pirmųjų Vilniaus betono statinių.
Sovietmečiu Trys Vilniaus kryžiai buvo susprogdinti. 1989 metais privačių asmenų lėšomis Trys kryžiai atstatyti.