Először a rigai zeneiskolában tanult, és tizenhat évesen egy országos (lett köztársaságbeli versenyen első díjat nyert. A Moszkvai Zeneakadémián David Ojsztrah tanítványa volt. Első nemzetközi díját a brüsszeli Queen Elisabeth Zenei Versenyen nyerte 1967-ben, itt harmadik lett. 1969-ben megnyerte a genovai Paganini-versenyt, majd 1970-ben a Nemzetközi Csajkovszkij-versenyt Moszkvában. Első nyugat-európai koncertjét 1975-ben Németországban adta, 1976-ban fellépett a Salzburgi Fesztiválon és 1977-ben New Yorkban is. 1981-ben megalapított egy kamarazene fesztivált Lockenhausban, Ausztriában, melynek programja teret ad az új zenei törekvéseknek is. Ezt a fesztivált 1992-től Kremerata Musica-nak nevezik. Gidon Kremer 1996-ban létrehozta a Kremerata Baltica kamarazenekart, mely a Baltikum legtehetségesebb fiatal zenészeiből válogatja tagjait. Kremer volt a művészeti vezetője az Art Projekt 92 fesztiválnak, és 1996-ban átvette Yehudi Menuhintól a gstaadi Nyári Zenei Fesztivált is. Gidon Kremer repertoárja rendkívül széles körű, Vivalditól Bachon keresztül kortárs zeneszerzőkig terjed. Szívesen mutat be kortárs műveket, többek között Piazzolla, Enescu, Philip Glass, Alfred Schnittke, Arvo Part szerzeményeit. Több zeneszerző ajánlotta neki kompozícióját, például Sofia Gubaidulina (Offertorium), Luigi Nono (La lontananza nostalgica utopica futura). Partnerei közé tartozik Valerij Afanaszjev, Martha Argerich, Vadim Szaharov, Schiff András, Keith Jarrett és Yo-Yo Ma. Számos művet rögzített a Deutsche Grammophonnál, továbbá a Philips és a Decca lemezkiadónál. Egy 1730-ból származó Guarneri del Gesú hegedű tulajdonosa.