John Coltrane művészetének hatására autodidaktaként kezdett zenét tanulni 1961-ben. Elsőként tenorszaxofonon játszott, később hozzá vette a szoprán-és basszushangszereket. 1962-ben megnyert egy amatőrversenyt, majd Terje Rypdal, Arild Andersen és Jon Christensen részvételével megalakította első együttesét. Coltrane zenéjét követve számos impresszív hatás érte, melynek során sikerült világszerte egyedülálló játékstílusát kialakítani. Zenéje karakterisztikusan skandináv jazz, melodikus és atmoszférikus, különleges melegsége egyszerre intenzív és visszafogott. Neve egybefonódott a világ egyik legjelentősebb lemezkiadója, a német ECM sikereivel, melynek időközben vezető komponistája és első számú sztármuzsikusa lett. Keith Jarrett társaságában rögzítették a híres Belonging és My Song című albumot, mely immár több nemzedék zenei ideálját testesíti meg. Későbbi zenekaraiban olyan muzsikusok fordultak meg, mint Ralph Towner, Egberto Gismonti, Charlie Haden, Shankar, Ustad Fateh Ali Khan, Nana Vasconcelos, Mari Boine vagy Manu Katché. Rendkívüli sikereket ért el a Hilliard Ensemble közreműködésével készült Officium és Mnemosyne című gregorián albumaival is, miközben kialakította állandó együttesét, melyben partnerei Rainer Brüninghaus és Eberhardt Weber. Jan Garbarek személyében a kortárs európai jazzművészet legnagyobb alkotóegyéniségét tisztelhetjük, egyöntetű vélemény szerint Európa legjobb szaxofonjátékosa. Értékadó zenéje világszerte rendkívül népszerű, ritkaságszámba menő koncertjei iránt óriási az érdeklődés mindenütt. Művészetének elismeréseként 1998-tól a norvég királyi ház lovagja.