Começou sua carreira musical na banda Mariani, em 1968. A banda lançou cem cópias de uma demo que são as mais gravações do estilo psicodélico da época, avaliados em três mil doláres a cópia. Em 1974, ele entrou na banda The Electromagnets, com a qual gravou dois álbuns em 1975 e fez turnê até 1977, quando saiu da banda.
Em dois períodos, 1976 e 1978, ele trabalhou em um álbum que só foi lançado muito tempo depois, em 1998, Seven Worlds, e assinou um contrato de cinco anos. Em 1985, gravou seu primeiro álbum solo, Tones, que foi lançado em Abril de 1986. Em 1987, ele trocou a gravadora Warner Bros. pela Capitol Records. Foi então em 1988-1989, que ele gravou o álbum Ah Via Musicom, que foi lançado em Março do ano seguinte. Em 1996 ele gravou Venus Isle, vindo a formar sua segunda banda Alien Love Child em 1999, lançando seu primeiro álbum ao vivo em 2000, Live And Beyond, já tendo trocado a Capitol Records pela Favored Nations Entertainment, selo de propriedade do guitarrista Steve Vai. Lança Souvenir em 2002, um apanhado de músicas inéditas gravadas ao longo de sua carreira, buscando abrandar um pouco seu perfeccionismo, tendo em vista sua produção menos exigente. Em 2005 lança Bloom, seu último álbum, também pela Favored Nations.
Johnson é muito respeitado no meio musical, já tendo ganhado o Grammy na categoria "Best Rock Instrumental Performance", em 1992, pela música Cliffs of Dover, do álbum Ah Via Musicom. Tocou e toca esporadicamente na turnê G3, com Steve Vai e Joe Satriani, com a qual veio pela primeira vez ao Brasil em 2006, na turnê latina dos guitarristas.
