Mariah Carey nasceu em Long Island, no Estado de Nova Iorque. Ela é a terceira filha de Patricia Hickey, uma cantora de ópera irlandesa e Alfred Roy Carey, um engenheiro aeronáutico de ascendência afro-venezuelana. Seu prenome foi-lhe dado como homenagem à canção "And They Call The Wind (María)" do musical Paint Your Wagon, com "Mariah" sendo uma americanização de "María".
Carey tem uma irmã, Alison Scott Carey e um irmão, Morgan Carey, ambos respectivamente onze e dez anos mais velhos.
Como uma família multi-racial, os Carey eram constantemente ameaçados por vizinhos preconceituosos, o que fez a família mudar-se de bairro constantemente. Isso levou os pais de Carey a se divorciarem quando ela tinha apenas três anos de idade. Após a separação, Mariah passou a ter pouco contato com o pai, e sua mãe começou a trabalhar em vários empregos para poder sustentá-la e aos seus irmãos.
Ficando muito tempo em casa sozinha, Carey escutava música para passar o tempo e sempre imitava as notas altas que ouvia de sua mãe Patricia. Mariah começou a cantar aos três anos de idade e a se apresentar publicamente aos quatro, impressionando a todos com sua precoce habilidade vocal. Aos cinco anos de idade Mariah já corrigia sua mãe quando esta cantava notas erradas durante um ensaio. Patricia percebeu então que Mariah tinha um ouvido musical absoluto, raro para uma criança de apenas 5 anos.
Durante sua adolescência, Mariah já tinha a certeza de que queria ser cantora e mudou-se para Nova Iorque, onde morou com mais duas amigas num pequeno apartamento. Trabalhando como garçonete e como assistente num salão de beleza, Mariah encontrava tempo para os testes de backing vocal. Graças ao seu talento ela conseguiu no primeiro teste tornar-se backing vocal de Brenda K. Starr, famosa cantora da década de 80.
Tentando estabelecer-se no mundo da música, Carey faltava freqüentemente às aulas e por isso seu apelido no colégio era Mirage, mesmo assim, Mariah conseguiu formar-se nas escolas Oldfield Middle e Harborfields High em Greenlawn - Nova Iorque.
Por sorte ou destino, em 1988, Carey conheceu o grande executivo da Columbia Records, Tommy Mottola numa festa onde Brenda K. Starr deu-lhe uma fita demo de Mariah. Mottola tocou a fita no carro enquanto saía da festa e se impressionou muito com o que ouviu, ele retornou à festa para encontrar Mariah, mas ela já havia partido. No dia seguinte através de um telefonema, Motolla encontrou-se com Carey através de Starr e, depois de passarem a noite juntos, assinaram um contrato que daria início a uma das mais bem sucedidas carreiras da indústria fonográfica mundial.