Johnson est né à Montgomery, Alabama, États-Unis, mais dès l'âge de deux ans, il a grandi à Massillon, Ohio. Musicien autodidacte, il a commencé à jouer du saxophone baryton et du tuba alors qu'il était encore au lycée. Après avoir obtenu son diplôme en 1958, il a servi dans la marine américaine avant de s'installer à Boston, où il a vécu avec la famille du batteur Tony Williams. Il a ensuite passé du temps à Chicago, où il a rencontré Eric Dolphy, avant de déménager à New York en 1963.
Dans les années 1960, il a travaillé avec Charles Mingus, Hank Crawford, Rahsaan Roland Kirk, Archie Shepp, et Hank Mobley sur l'album A Slice of the Top. Il a également commencé une longue association avec Gil Evans en 1966. Il était l'arrangeur d'une section de cuivres qui a soutenu Taj Mahal sur l'album live de Mahal en 1971, The Real Thing, qui comprenait trois autres tubistes/multi-instrumentistes, Bob Stewart, Joseph Daley et Earl McIntyre. Johnson a également joué avec le groupe The Band sur leur album live Rock of Ages, dans le film The Last Waltz et dans le nouveau millénaire avec le groupe de Levon Helm.
Au cours des années 1970, il était le chef d'orchestre du Saturday Night Live Band ; on peut le voir dans plusieurs numéros musicaux, notamment jouer du saxophone basse dans le sketch "King Tut" et diriger son groupe entièrement tuba Gravity dans une performance vedette de la saison 3, épisode 17. Gravity était peut-être son groupe le plus connu.
Il a dirigé trois groupes de tuba, a collaboré avec Tomasz Stanko, Substructure, Tuba Libre et Gravity. Il a enregistré fréquemment. En 1981, il se produit au Woodstock Jazz Festival, organisé pour célébrer le dixième anniversaire du Creative Music Studio. Il a eu un rôle mineur dans le film de 1983, Eddie and the Cruisers en remplacement de Wendell. Il est également apparu dans des épisodes de Matlock et Hill Street Blues. En 1984, il fait partie du Gil Evans Orchestra, accompagnant Jaco Pastorius au Live Under The Sky Festival au Japon.
Johnson a accompagné James Taylor dans une performance de "Jelly Man Kelly" sur Sesame Street en 1983, et aussi sur une flûte quand Taylor chante pour Oscar le Grouch.
Discographie
En tant que leader
1994: Arrival: A Pharoah Sanders Tribute (Verve)
1995: Gravity!!! (Verve)
1998: Right Now (Verve)
2017: Testimony (Tuscarora)
- En tant que sideman
Hank Crawford: Dig These Blues (Atlantic, 1965), After Hours (Atlantic, 1966), Mr. Blues (Atlantic, 1967), Night Beat (Milestone, 1989), Groove Master (Milestone, 1990), Tight (Milestone, 1996)
Charles Mingus: Music Written for Monterey 1965 (Jazz Workshop, 1965), Charles Mingus and Friends in Concert (Columbia, 1972), Let My Children Hear Music (Columbia, 1972)
Archie Shepp: Mama Too Tight (Impulse!, 1966)
Gary Burton: A Genuine Tong Funeral (RCA, 1967–68)
Gábor Szabó & Bob Thiele: Light My Fire (Impulse!, 1967)
Gerald Wilson: Live and Swinging (Pacific Jazz, 1967)
Charlie Haden: Liberation Music Orchestra (Impulse, 1968)
Jazz Composers Orchestra: Communications (JCOA, 1968)
Gil Evans: Blues in Orbit (Enja, 1969–71), Svengali (ACT, 1973), The Gil Evans Orchestra Plays the Music of Jimi Hendrix (RCA, 1974), There Comes a Time (RCA, 1975), Live at Sweet Basil (Gramavision, 1984), Live at Sweet Basil Vol. 2 (Gramavision, 1984)
