O Givuss foi formado em Fevereiro de 2003 pelo vocalista Shou e pelo guitarrista Tora. Logo eles se juntaram à Nao na guitarra, Tsunehito no baixo e Yuu na bateria. Depois de algumas performances, eles lançaram sua primeira fita demo em Julho, Juunin toshiki. Entretanto, as 1.000 cópias se esgotaram rapidamente, então, no mês seguinte, uma segunda prensagem de 1.000 foi editada.
Nesta época, durante os primeiros meses de sua existência, Nao deixou a banda e foi substituído por outro guitarrista, Rei, que também saiu rapidamente e eles resolveram seguir apenas como um quarteto.
Em 17 de Outubro, a jovem banda realizou seu primeiro show one-man e em Dezembro eles lançaram seu primeiro maxi-single, Hana.Tori.Kaze.Tsuki, que alcançou a quarta posição no ranking independente da Oricon. No mesmo mês eles organizaram outro show one-man, no qual distribuíram uma fita de vídeo.
No início de 2004, a banda que iria se separar em breve. Seus dois últimos shows aconteceram nos dias 22 e 23 de Março. No dia 31 do mesmo mês eles lançaram seu último single, ongaku mushoumei (no music, no life).
Infelizmente, o Givuss só ficou na ativa por cerca de um ano antes de se separar, mas os membros continuaram suas carreiras musicais, se tornando bem sucedidos. Então se você está perguntando o que eles estão fazendo agora: Shou e Tora começaram a famosa banda Alice Nine. Tsunehito se juntou ao Scuissor e quando eles se separaram ele se tornou o baixista do D. Yuu reapareceu na cena musical como o baterista do Kazoku, e após o grupo se separar ele se tornou parte do The Kiddie.
