Geboren 1944 in Port Chester, Bundesstaat New York. Alsbald umgezogen und aufgewachsen gleich gegenüber in Greenwich, Connecticut. John beginnt mit dem Gitarrenspiel als 14-Jähriger. Am Ende seiner Schulzeit fand er, dass die Zeit reif ist, um sich den Rock'n'Roll-Licks eines Chuck Berrys zu entledigen und eine durch eine eigenen Stil zu ersetzen. In Boston, wo John das Berklee College of Music besuchte, trat er regelmässig mit anderen Musikstudenten in den örtlichen Clubs auf und sammelte so ersten Erfahrungen auf der Bühne.
Die ersten echten Tour-Erfahrungen indessen lernte John mit dem Organisten Johnny Hammond kennen, mit dem er in einschlägigen Clubs wie dem Club Baron in Harlem auftrat. Zu dieser Zeit lief John in de Arme der Brecker Brothers, die gerade dabei waren, ihre neue Band Dreams zu gründen. John wurde eingeladen, bei ihnen mitzumachen.
Nach dem Schulabschluss 1969 entschloss sich John, nach New York zu ziehen, in der Hoffnung, in der dortigen Musikszene Einlass zu finden. Alsbald entwickelte er sich zu einem eigenständigen Musiker, der bald bei den wichtigsten Cracks mitspielen konnte. Zu nennen wären da sicherlich Gil Evans, Gato Barbieri oder Chico Hamilton, mit welchem er am regelmässigsten aufzutreten pflegte.
Den eigentlichen Durchbruch schaffte er später in Billy Cobham's Band. Und auch hier sind die Brecker Brother wieder mit von der Partie. Dank den Einspielungen von Crosswinds, Total Eclipse und Shabazz wurde John endlich international bekannt. Später, eingeladen in Montreux, traf er auf Manfred Eicher, der ihm anbot, ein eigenes Album aufzunehmen. So entstand die erste Aufnahme auf ECM: Timeless, zusammen mit Jan Hammer und einem gewissen Jack DeJohnette. Das zweite ECM-Album, Gateway mit DeJohnette und Dave Holland am Bass fand internationale Beachtung.
1979 gründete John dann sein erstes Quartett mit Richie Beirach, George Mraz und Peter Donald. Daneben spielt er immer wieder mit anderen ECM-Musikern und dem alter ego Gitarristen Ralph Towner.
Es folgen mehrere Veröffentlichungen und neue Bands werden gegründet. Eine der erfolgreichsten davon wird in den 80er Jahren sein Trio mit Marc Johnson und Peter Erskine.