Carioca de Madureira, mas criado no Catumbi, Jorge Ben Jor queria ser jogador de futebol e chegou a integrar o time infanto-juvenil do Flamengo. Mas acabou seguindo o caminho da música, presente em sua vida desde criança. Ganhou seu primeiro pandeiro aos treze anos de idade e, dois anos depois, já cantava no coro de igreja. Também participava como tocador de pandeiro em blocos de carnaval. Aos dezoito, ganhou um violão de sua mãe e começou a se apresentar em festas e boates, tocando bossa nova e rock and roll. É conhecido como Babulina, por conta da pronúncia do rockabilly Bop-A-Lena de Ronnie Self (apelido que Tim Maia tinha pelo mesmo motivo). Seu ritmo híbrido lhe trouxe alguns problemas no início, quando a música brasileira estava dividida entre a Jovem Guarda e o samba tradicional, de letras engajadas. Ao passar a ter interesse pela música, o artista vivenciou uma época na qual a bossa nova predominava no mundo. A exemplo da maioria dos músicos de então, ele foi inicialmente influenciado por João Gilberto, mas desde o início foi bastante inovador.
No início da anos 60 apresentou-se no Beco das Garrafas, que se tornou um dos redutos da bossa nova. Em 1963, ele subiu no palco e cantou "Mas que Nada" para uma pequena platéia, que incluía um executivo da gravadora Philips. Dois meses depois, era lançado o primeiro compacto de Jorge Ben, que inclui ainda "Por Causa de Você, Menina". No mesmo ano lançou o primeiro LP, Samba Esquema Novo, acompanhado pelo conjunto de samba jazz Meireles e os Copa Cinco.
"Mas que Nada" foi seu primeiro grande sucesso no Brasil e também é uma das canções em língua portuguesa mais executadas nos Estados Unidos até hoje, na versão do pianista brasileiro Sérgio Mendes com o grupo de hip hop norte-americano Black Eyed Peas. E também foi uma das poucas a obterem êxito neste país (como "Garota de Ipanema"), tendo ainda sido regravada por artistas como Ella Fitzgerald, Dizzy Gillespie, Al Jarreau, Herb Alpert, José Feliciano e Trini Lopez. Outras composições como "Zazueira" e "Nena Naná" fizeram relativo sucesso no país.
Em 1968, Jorge Ben quando foi convidado para o programa Divino, Maravilhoso que Caetano Veloso e Gilberto Gil faziam na Tupi. Ele também participou d"O Fino da Bossa" (comandado por Elis Regina) e da Jovem Guarda (de Roberto Carlos). Nesta época, Jorge Ben obteve enorme sucesso com "Cadê Tereza?", "País Tropical", "Que Pena" e "Que Maravilha", além de concorrer com "Charles, Anjo 45" no festival Internacional da Canção, da TV Globo, em 1969.
Na década de 1970, venceria este festival com "Fio Maravilha", interpretado por Maria Alcina. "País Tropical" também teve êxito, na voz de Wilson Simonal. Ainda nos anos 70, Jorge Ben lançou álbuns mais esotéricos e experimentais, como A Tábua de Esmeralda (1974), Solta o Pavão (1975) e África Brasil (1976). Embora não obtivessem sucesso comercial, estes álbuns são considerados clássicos da música brasileira.
Na década seguinte, Jorge Ben dedicou-se a divulgar suas músicas no exterior. Em 1989, ele mudou o nome artístico de "Jorge Ben" para "Jorge Benjor", logo depois alterado para "Jorge Ben Jor". Na época, foi dito que a mudança teria sido provocada pela numerologia, mas o mais plausível é que tenha ocorrido para evitar confusões com o músico americano George Benson, Jorge Ben estava começando a se tornar muito conhecido nos Estados Unidos na época.
Nesta nova fase, sua música tornou-se mais pop, ainda que com estilo suingue. Sua música "W/Brasil (Chama o Síndico)", lançada em 1990, estourou nas pistas de dança em 1991 e 1992, tornando-se uma verdadeira febre na época. A canção é também uma homenagem ao cantor Tim Maia. Além disso, foi realizada devido a um pedido pessoal do Sr. Washington Olivetto, proprietário da W/Brasil, que o pediu para criar uma música sobre a agência.
Em 2004, Jorge Ben Jor lançou Reactivus Amor Est (Turba Philosophorum), primeiro álbum com canções inéditas desde 1995. Ainda na ativa, seus shows costumam durar cerca de três horas, para platéias formadas principalmente por jovens.