Trakų senamiesčio šiaurės vakarinėje dalyje dar nuo Vytauto Didžiojo laikų (XIV a.) gyvena karaimai. Karaimai, tiurkų kalba kalbanti tauta. Tautos vardas yra kildinamas iš karaitų tikėjimo. Manoma, kad karaimus ( apie 400 šeimų) į Trakus atkėlė Vytautas Didysis po savo žygių į Krymą. Karaimai – kariai saugojo pilis, buvo Vytauto asmens sargybiniai. Lietuvos Didysis Kunigaikštis suteikė karaimams privilegiją laisvai gyventi valstybėje ir vėlesni kunigaikščiai nevertė keisti papročių ir karaizmo tikėjimo. Civiliai karaimai dirbo žemę, vertėsi prekyba, amatais. Karaimų gatvė turi savitą architektūrą: mediniai namai dėl vietos stokos buvo statomi galu į gatvę, paprastai trimis langais: vienas dievui, kitas Vytautui, trečias sau.
Apie 250 Lietuvos karaimų, iš kurių apie 20 proc. sudaro Trakuose gyvenantys karaimai, yra vienintelė pasaulyje tokia maža bendruomenė, išsaugojusi savo ( karaimų) kalbą. 2006 metais duris atvėre karaimų bendruomenės namai ( Karaimų g. 13), kur renkasi karaimai iš viso pasaulio, mokosi savo tautos tradicijų, kalbos. 2007 metais karaimai minės 610 –ąsias įsikūrimo Lietuvoje metines.