Filho de Alfredo de Almeida, livreiro e proprietário da casa de fados O Faia, falecido em 1962, e de sua mulher Lucília do Carmo, conhecida fadista, Carlos cresceu em Lisboa, onde frequentou a Escola Alemã e o Liceu Passos Manuel. Na Suíça fez estudos de Hotelaria e aprendeu línguas estrangeiras. Iniciou a sua carreira artística em 1964, embora tenha gravado o primeiro disco com nove anos.

Ainda em 1964 casou-se com Maria Judite de Sousa Leal, mãe dos seus três filhos, Cila do Carmo, Alfredo do Carmo de Almeida e Gil do Carmo.

Representou Portugal no XXI Festival Eurovisão da Canção em 1976, com o tema Flor de Verde Pinho, adaptado do poema de Manuel Alegre. No Festival RTP da Canção desse ano, foi o único intérprete. Nas últimas canções apresentadas estavam temas como Estrela da Tarde de José Carlos Ary dos Santos e música deFernando Tordo . De entre muitas outras, as suas canções mais conhecidas são Os Putos, Um Homem na Cidade, Canoas do Tejo, O Cacilheiro, Lisboa Menina e Moça, Duas Lágrimas de Orvalho e Bairro Alto.
Realizou numerosas digressões, tendo actuado no Olympia de Paris, na Ópera de Frankfurt, na Ópera de Wiesbaden, no Canecão do Rio de Janeiro ou no Hotel Savoy de Helsínquia. Em Portugal tem sido apresentado na Fundação Calouste Gulbenkian, no Mosteiro dos Jerónimos, no Casino Estoril e Centro Cultural de Belém.
A 4 de Setembro de 1997 foi agraciado com o grau de Comendador da Ordem do Infante D. Henrique. Deve grande parte dos seus êxitos ao duo José Carlos Ary dos Santos / Fernando Tordo entre eles “Lisboa Menina e Moça” e “Estrela da Tarde”.

Em 2003 ganhou o Prémio José Afonso, então atribuído pela Câmara Municipal da Amadora, na sequência do qual foi publicado o livro Carlos do Carmo, do Fado e do Mundo, uma entrevista biográfica realizada por Viriato Teles. Entre numerosos galardões, foi-lhe ainda atribuído o Globo de Ouro de Mérito e da Excelência, o Prémio Consagração de Carreira, da Sociedade Portuguesa de Autores, a Comenda da Ordem do Infante D. Henrique e o Prémio Goya para Melhor Canção Original, com o Fado da Saudade, em 2008. A canção faz parte da banda sonora do filme Fados, que concorria à edição de 2008 daqueles que são considerados os óscares espanhóis. No entanto foram levantadas dúvidas sobre a verdadeira autoria deste fado (Público). É ainda cidadão honorário do Rio de Janeiro, membro de honra do Claustro Ibero-Americano das Artes, e recebeu um diploma do Senado deRhode Island (Estados Unidos) pelo seu contributo para a divulgação da música portuguesa.
Figura também como pioneiro na nova discografia portuguesa devido ao seu disco Um Homem no País, que foi o primeiro CD editado por um artista em Portugal.

José Maria Nóbrega acompanha-o em guitarra há 36 anos.