Procurando criar uma nova personalidade musical, em 2006, Nick Cave criou o Grinderman quando se sentiu cansado de ficar sentado em seu escritório criando novas canções para o The Bad Seeds. Ao lado de Martyn Casey, no baixo, Warren Ellis, violino e guitarra, e Jim Sclavunos, na bateria, o vocalista tenta encontrar um novo rumo para suas canções, mas sem deixar de lado seu passado.
Com Cave improvisando letras e brincando com sua guitarra, enquanto seus colegas de banda criam melodias para tais improvisos, o Grinderman é uma viagem a um território experimental, até então muito pouco visitado na carreira do cantor. Com uma potente dose de punk, no wave e blues tradicional, o quarteto conseguiu criar canções que fazem do Grinderman algo totalmente à parte do trabalho de Cave ao lado do the Bad Seeds e do feito com o Birthday Party. Com isso, o Grinderman tem uma personalidade única.
Em fevereiro de 2006, a banda entrou em estúdio na cidade de Londres e começou uma extensa maratona para gravar material para o disco de estréia. Em abril do mesmo ano, Cave e seus colegas já tinham várias canções e começaram a gravar ao lado de Nick Launay. O primeiro single do disco, No Pussy Blues, foi lançado na internet no final do ano passado. Já o primeiro álbum do Grinderman saiu com uma versão limitada, em vinil, em fevereiro.