Em 1994, lançaram seu primeiro disco, que levou o nome da banda. O Rappa não obteve muito sucesso e foi o único disco com a presença de Nelson Meireles, que abandonou a banda por motivos pessoais. Com a saída de Nelson Meireles, Lauro Farias, que tocava com Yuka no KMD-5, assumiu o contrabaixo.
Falcão já namorou com a atriz Débora Secco.
Em 1996, foi lançado o CD Rappa Mundi, que praticamente introduziu a banda no cenário nacional e quase todas as canções foram sucesso. Entre elas, Pescador de Ilusões, A Feira e a versão nacional para o sucesso de Jimi Hendrix, Hey Joe.
Um de seus maiores sucessos, a canção "Pescador de Ilusões", do ex-baterista Marcelo Yuka, tornou-se sucesso no CD em que foi lançada primeiramente, Rappa Mundi, e novamente no Acústico MTV de 2006, com o refrão "Valeu a pena, valeu a pena". O mesmo feito de popularidade veio com a canção "Me Deixa", também de Marcelo Yuka.
Marcelo Lobato, baterista, carioca do flamengo, inicialmete era tecladista e passou para as baquetas após o acidente ocorrido com Marcelo Yuca.
Em 2001, o baterista Marcelo Yuka foi vítima direta da violência urbana, ao ser baleado durante tentativa de assalto, ficando paraplégico e assim impossibilitado de tocar bateria.
Um exemplo de a palavra rapa ser aplicada aos caçadores de camelôs pode ser encontrado na canção "Óia o rapa!" na composição de Lenine e Sérgio Natureza, gravada pela banda no CD Rappa Mundi.
Em 2003, O Silêncio Q Precede O Esporro, primeiro álbum sem ligação com Yuka foi lançado. Sem as letras de Yuka, Marcos Lobato, tecladista colaborador, tornou-se o principal compositor com a autoria de diversas canções de sucesso como Reza Vela e Rodo Cotidiano. Em parceria com Carlos Pombo compuseram O Salto, com letra forte em relação ao resto do disco, mais ameno sem as letras de Yuka. Em seguida foi lançado o DVD homônimo, gravado ao vivo no Olimpo - Rio de Janeiro.
Marcelo Falcão, é o vocalista da banda, carioca do engenho novo e foi escolhido pela banda através de anúncio publicado na coluna Rio Fanzine, do jornalista Carlos Albuquerque.
Em 2000, O Rappa causou "comoção pública e muita indignação" entre diversas bandas: no Rock in Rio que ocorreria no ano seguinte, a banda seria colocada antes de alguns americanos, e protestaram. Foram retaliados com exclusão, e 5 bandas brasileiras saíram do festival em protesto (Skank, Raimundos, Jota Quest, Cidade Negra e Charlie Brown Jr.)
A banda ganhou o prêmio de melhor videoclipe duas vezes seguidas,(2000 e 2001) com as músicas, A minha alma e O que sobrou do céu, respectivamente.
A decisão sobre o nome da banda envolveu opções como "Cão-careca" e "Bate-Macumba". O nome escolhido - O Rappa - vem da designação popular dada aos policiais que interceptam camelôs, os rapas. Com um p a mais para diferenciar, o nome foi escolhido