A banda foi formada em 1984 por Chris Cornell na bateria e vocal e Hiro Yamamoto no baixo; posteriormente adicionada por Kim Thayil na guitarra. Pouco tempo depois Scott Sundquist assumiu o lugar na bateria, para que Cornell pudesse se dedicar exclusivamente aos vocais. A banda gravou duas músicas que apareceram em uma compilação da C/Z Records chamada Deep Six, que também incluia músicas das bandas Green River, Skin Yard e The Melvins.
Em 1986, Sundquist deixou a banda, sendo substituido por Matt Cameron que havia sido baterista do Skin Yard. Tendo assinado com a Sub Pop, a banda lançou os EP’s Screaming Life em 1987 e Fopp em 1988.
Apesar da banda estar sendo processada por grandes selos, em 1988 assinaram com a SST Records para lançar seu primeiro álbum, Ultramega OK, que ganhou uma indicação para o prêmio Grammy. Em 1989 lançaram outro álbum Louder Than Love. Após esse álbum Yamamoto deixou à banda para voltar a faculdade. Ele foi brevemente substituído por Jason Everman, previamente do Nirvana, deixando a banda para que Ben Shepherd assumisse sua posição.
A nova formação lançou Badmotorfinger em 1991. Apesar de bem sucedido, as atenções do público estavam voltadas para o Nevermind do Nirvana. Ao mesmo tempo, o foco da atenção para bandas de Seattle trazido pelo Nevermind aumentou o reconhecimento para a banda, permitindo que Outshined e Rusty Cage tivessem audiência em rádios alternativas e na MTV. A banda fez turnê com o Guns N’ Roses para promover o álbum, e produziu o vídeoclipe Motorvision com cenas da estrada.