Desde sus inicios comenzó con el tiple, posteriormente con la guitarra, después con la dulzaina y luego con el acordeón, antes sin embargo se desempeñó como electricista, plomero, constructor y otros oficios varios para poder sobrevivir. Nació el 11 de marzo de 1907 en el centro de la ciudad de Barranquilla, entre las Calles 43 y 44 y siempre ha vivido cerca a la Kra. 44 con la calle 64, el mismo asegura que es un hombre perseguido por los 4.

Hacia 1941, según asegura José María, compuso el tema que le dio mayor reconocimiento y fama: El Hombre Caimán.

La leyenda del Hombre Caimán como es conocida en nuestro medio, proviene de diferentes lugares, una de Ciénaga y otra de Plato, siendo esta última la que sirvió de base para la inspiración de la canción. En 1945 Peñaranda graba su canción en acetato en La Voz del Litoral de Barranquilla, después pasa a Venezuela y de allí llega a Argentina, siendo grabada por la Orquesta de Eduardo Armani, en la voz de JohnyAlvarez. En la versión de Armani se puede observar que el coro dice "...ahí viene el caimán, ahí viene el caimán, viene para Barranquilla", en las versiones posteriores este coro es cambiado por "se va el caimán, se va el caimán, se va para Barranquilla".

Parece ser que el cambio en parte tiene que ver con el auge que fue tomando la canción internacionalmente, sobre todo en España, donde fue utilizada para ironizar los anuncios mentirosos que hacía el general Franco de retirarse del poder.

Posteriormente realiza gira a Panamá, hacia marzo y abril de 1946, presentándose en vivo por la Cadena Panameña de Radiodifusión y en el Teatro Panamá. En esa gira el Presidente panameño Enrique Jimenez, a través de una carta agradece el homenaje rendido por Peñaranda y sus muchachos en la radio difusora panameña.

Más tarde la composición Se va el Caimán se inmortaliza a través de la película mexicana "Pasiones Tormentosas", interpretada por el cantante Kiko Mendive.

A partir de 1951 realiza presentaciones en Cali, en Medellín cuatro años más tarde, obteniendo allí un reconocimiento de parte del periódico El Colombiano y presentando una grupación compuesta de Tumbadora, Guitarra, Timbales, Acordeon, Maracas y Guacharacas. El porro "Me voy pa' Cataca" de su autoría y en el cual el soledeño José Cuesta grabó el acordeón, fue retomado por Nelson Pinedo con la Sonora Mantancera, titulándolo "Me voy pa' La Habana".

Otros temas de su repertorio son "La Cosecha de Mujeres", grabado por Pedro Laza y sus Pelayeros y con diferentes versiones internacionales entre las cuales se destacan la del mexicano Ramón Marquez y la de Chorolo y su Combo; "Las Cuatro Hijas", grabada por Johnny Ventura; "Que le den", en la versión de los Blancos de Venezuela; "Celso", en versión salsa de la orquesta Selección Quinta. También se destacan temas como "A Centavo la Pasá", "El Coje-Coje", "Compadre le Vendo el Carro", "Vuelve", grabado por Joe Arroyo, además de una serie de composiciones picantes como "Las Secretarias", "Teresa la Panadera", "El Peluquero", y otras más.

Aunque en su momento José María Peñaranda fue considerado como un compositor de letras demasiado calientes, después de haber transcurrido el tiempo, podemos decir que fue el primer juglar costeño en incursionar con letras picarescas y humorísticas, en las cuales, el doble sentido o la vulgaridad corría más por cuenta del oyente que del mismo compositor. Peñaranda es a nuestra música lo que en Cuba es el compositor Faustino Oramas, conocido como "El Guayabero".