Ivry Gitlis 1922. augusztus 22-én született Haifában Orosz szülők gyermekeként. Öt évesen kezdett hegedűlni és tíz éves volt, mikor első koncertjét adta. Amikor a hegedűs Bronislav Huberman hallotta őt játszani, a párizsi Konzervatóriumba küldte, ahol első díjat nyert tizenhárom évesen. Később többek között George Enescu és Jacques Thibaud tanítványa volt.
1939-ben Angliába ment és a Második Világháború idején a brit hadianyag-gyárban dolgozott, majd később a brit hadsereg szórakoztató osztályán.
1951-ben debütált Párizsban, majd bejárta a világot koncertezve. Játszott a legfontosabb zenekarokkal, többek között a New York-i Filharmonikusokkal a Berlin Filharmonikusokkal, a Bécsi Filharmonikusokkal, a Philadelphia Filharmonikusokkal és az Izraeli Filharmonikusokkal.
Ivry Gitlist tartják generációja egyik legtehetségesebb hegedűsének, sok felvétele klasszikusnak számít. Első lemezfelvétele, Alban Berg: "Le Concerto à La mémoire d'un ange", a Grand Pri du Disque-díjat is elnyerte Franciaországban. Bruno Maderna számára írta "Piece for Ivry" című darabját, és 1972-ben Ivry Gitlis mutatta be Xenakis "Mikka" című darabját.