Lüdi verlebte seine ersten Jahre im Puschlav und seine Jugend in Landquart, wo er in einer Kapelle Akkordeon spielte. Er entdeckte den Cool Jazz und spielte in der Band von Toni Schädler Baritonsaxophon. 1958 zog er nach Hamburg, wo er sich an Jamsessions beteiligte, dabei Peter Brötzmann kennenlernte, aber zunächst keinen Anschluss an eine Band des Modern Jazz finden konnte.
1964 ging er für ein Jahr als Altsaxophonist mit der Band von Gunter Hampel auf Tournee und dann nach München, wo er mit Pierre Favre jammte, bevor er 1966 in die Schweiz zurückkehrte, um als Photograph und in der PR-Abteilung einer Reifenabteilung zu arbeiten. Er war dann als Texter in einer Werbeagentur tätig.
1981 stieg Lüdi wieder in die Jazzszene ein: Gemeinsam mit Stephan Wittwer, Fredy Studer und Léon Francioli gründete er die Gruppe Sunnymoon. 1984 spielten Hans Koch, Martin Schütz, Timo Fleig und Lüdi unter diesem Namen freie Improvisationsmusik. Ihren Auftritt auf dem Jazz Festival Zürich 1984 wertete die Kritik als „Sternstunde des Schweizer Jazz“. Später spielten Koch, Schütz und Lüdi mit Wittwer und Paul Lovens zusammen, Ende der 1980er Jahre spielte er mit Mani Neumeier, Wädi Gysi und dem Trompeter Mich Gerber als Blauer Hirsch. Er galt als das „Wildschwein unter den Schweizer Freejazzmusikern“.
Später trat er mit Brötzmanns Märzcombo auf, spielte mit Butch Morris, Sainkho Namtchylak und Peter Kowald, trat aber auch mit William Parker, Saadet Türköz, Burhan Öçal (auf dem Montreux Jazz Festival), Peter Conradin Zumthor oder Daniel Seiler auf.
Daneben hatte er eine regelmäßige Kolumne in der WoZ; für seine Tournee-Reportage „From Russia with Laugh“ wurde ihm der Zürcher Journalistenpreis verliehen.
2 Auftritte mit folgenden Bands:
Jazz in Dübendorf
