A banda foi formada em 1996 por Jared Watson e o vocalista/guitarrista Dustin "Duddy" Bushnell no Condado de Orange, cidade de Huntington Beach, Califórnia. Os dois se encontraram em uma reunião de calouros do colégio. Ouvindo um dos raps de Bushnell, Watson ficou inspirado para colaborar com ele em um novo projeto. Nesse mesmo tempo, Bushnell tinha uma banda de punk rock enquanto Watson não tinha nenhuma experiência musical. Na garagem da casa de Bushnell, os dois começaram a escrever músicas de hip hop com influências do reggae e do punk. O nome da banda vem de uma ocasião onde os dois estavam roubando uma caixa de cerveja de 12 garrafas e alguém disse a eles: "Come here you dirty heads" (de "Venha cá, seus cabeças sujas").
