Jones begann seine Karriere in den frühen 1960er Jahren als Mitglied der Band Nero and the Gladiators, die 1961 zwei kleinere Hits in Großbritannien hatten. Nach der Auflösung der Band arbeitete Jones als Songwriter und Sessionmusiker für Künstler wie Sylvie Vartan und Johnny Hallyday, bevor er sich mit Gary Wright zusammentat, der bei der Band Spooky Tooth spielte. 1973 reanimierten Jones und Wright Spooky Tooth; danach wechselte Jones zur Leslie West Band. Er spielte zudem Gitarre auf den Alben Wind of Change (1972) von Peter Frampton und Dark Horse (1974) von George Harrison.
1976 gründete Jones Foreigner. Er schrieb zusammen mit dem Sänger Lou Gramm fast alle Songs der Band und coproduzierte alle ihre Alben.
1989 veröffentlichte er sein einziges Soloalbum mit dem Namen Mick Jones. Als Gastsänger waren Billy Joel und Carly Simon dabei.
Bei Livekonzerten von Foreigner spielt Jones aus gesundheitlichen Gründen nur noch selten mit, wobei er in diesen Fällen nur für wenige Songs auf die Bühne kommt.[2]