A banda se formou em 1979 com o nome M-19 (esse nome foi usado algum tempo depois por outra banda que participou do festival O Começo do Fim do Mundo), e começam a ensaiar em um galpão industrial de São Bernardo do Campo, com Betão na bateria, Vladi no baixo, Luiz na guitarra e Mauro no vocal. O som era rápido e barulhento, cheio de garra e energia, com influência de bandas como Discharge e Disorder.
Trocam o nome para Ulster inspirados nos terroristas do IRA (Exército Republicano Irlândes), que tratavam batalhas nas ruas de Ulster, na Irlanda. Em função disso, a maioria das letras tratavam de atos terroristas ocorridos na época, como as músicas "M-19", "Bandeiras Vermelhas" e "Morte aos Velhos".
Com o movimento punk crescendo em importância, a produtora independente Olhar Eletrônico resolve fazer o documentário Garoto do Subúrbio sobre os punks paulistanos. Para isso foi realizado um show com o Hino Mortal, Ulster e Decadência Social (que mais tarde mudou o nome para DZK).
Participaram de duas compilações em K7: Decaptados e Contra Tudo que é Comercial e Nada de Novo nos Oferece, ambas de 1982 e com a presença das bandas Hino Mortal e Submundo. Também fizeram parte do festival O Começo do Fim do Mundo, mas não quiseram participar do disco gravado nesse festival porque, segundo eles, foram prejudicados quanto a qualidade da gravação. Após 13 anos esse equívoco foi resolvido e a banda entrou na versão CD com a música "Heresia".
Após o festival, o movimento punk toma força e várias manifestações aconteceram. Entre elas a maior foi no ABC paulista, na Associação de Amigos de Vila Paulicéia, onde foi lido um manifesto conjunto retratando a situação política do país e criticando atitudes inconseqüentes de governantes oportunistas, onde tocaram o Hino Mortal, Ulster e Corte Marcial.
A banda se destacava das demais na hora de se apresentar. Eles tinham uma performance totalmente agressiva em cima do palco, pois sempre apareciam de capuz negro nos rostos, parecento verdadeiros terroristas. Em 1983, o Ulster encerrou seus trabalhos devido principalmente aos rumos que o movimento punk paulista havia tomado (as brigas entre gangs aumentavam a cada dia, não havia mais shows e zines).
Com o fim do Ulster, Betão foi tocar no Varsóvia e Luiz tocou no Brigada do Ódio e no Olho Seco.
Em 1994, o Ulster volta à ativa embalado pelo lançamento da compilação ABC Hardcore '82 e do compacto M-19, com Vladi, Betão, Mauro e Rato (ex-Hino Mortal). A partir dessa época houve a passagem de vários integrantes, entre eles Fábio (Olho Seco), Hamílton (Varsóvia) e Luiz (guitarrista da primeira formação), até se estabilizar com Vladi, Fábio, Thiago e Johnny.
Desde sua volta, realizaram vários shows, com bandas nacionais como Olho Seco, Ação Direta, Negative Control, Armagedom, Invasores de Cérebro e Subviventes, além de bandas estrangeiras, como Varukers, GBH (da Inglaterra), Entrails Massacre e Hekatombe (da Alemanha), Argies e Muerte Lenta (da Argentina). Nos shows, sempre estiveram com os capuzes que marcaram sua trajetória polêmica e agressiva.
Gravaram duas músicas no Tributo ao Olho Seco e lançaram o compacto Ignorante, split com a banda Negative Control. Em 2000, lançaram o álbum Ulsterror pela Rasura Records, com todas as demo-tapes de 1982 e 1983, incluindo 9 músicas no festival O Começo do Fim do Mundo em 1982 . Ainda em 2000, lançaram o CD Aperte o Gatilho com regravações de músicas da primeira fase, novas músicas e covers das bandas Raw Power, Olho Seco e Negative Control, e conta com participações de Fábio (Olho Seco), Borella (F.D.S.), Gepeto (Ação Direta), entre outras pessoas.
Em 2001 lançaram um split-CD com a banda finlandesa Força Macabra. Em 2002 participam do festival A Um Passo do Fim do Mundo em São Paulo. Recentemente, o baixista Thiago saiu da banda, sendo substituido por Borella do F.D.S.
