El interés por la música de José Zapiola se remonta a 1815, cuando su madre, Carmen Cortés, mujer de gran esfuerzo y pocos medios, empeñó una matera de plata para comprarle un clarinete viejo, perteneciente a un señor enfermo. Cuando llegaron las bandas del ejército libertador de José de San Martín, Zapiola comenzó a frecuentar los ensayos del 8° Batallón: rápidamente se fue familiarizando con los músicos, en especial con el director Matías Sarmiento. Aprendió a tocar su clarinete de manera autodidacta, imitando lo que se les enseñaba a los soldados.

En medio de una vida bohemia transcurrida en chinganas y fondas, durante su temprana juventud tomó contacto con el chelista y comerciante de partituras danés Carlos Drewetcke, quien fue determinante en su acercamiento profesional a la música. En sus tertulias, experimentados instrumentistas se reunían para ensayar obras de Beethoven y Mozart, con partituras que él traía de Alemania. Estos encuentros constituyeron una valiosa oportunidad para perfeccionarse, que José Zapiola supo aprovechar: un año después ya era primer clarinetista de la orquesta de Manuel Robles, que amenizaba las funciones dramáticas del teatro de Compañía.

En 1820 ingresó como instrumentista al cuerpo musical de la Catedral de Santiago, labor que ejerció ad honórem durante los dos primeros años y que se prolongó por alrededor de cincuenta años. Luego participó como clarinetista en el Batallón Nº 2 de las Guardias Nacionales, convirtiéndose en director de una de las bandas de música del Séptimo Batallón.

Cuando regresó de su viaje a Argentina -producto del cual perdió su puesto en la Catedral-, tomó parte de los conciertos públicos organizados por Carlos Drewetcke en la Sociedad Filarmónica. En 1827 ya dirigía la orquesta del Teatro Nacional. Ese mismo año comenzó a dictar clases en la academia de música del maestro Versin en calle Bandera y fue recontratado por la Catedral como primer clarinete.

Con los conocimientos adquiridos en Argentina, en 1830 comenzó a dirigir las óperas líricas que llevó a cabo la primera compañía que vino a Chile, la Pissoni-Betaglia de Montevideo. Movido por esta nueva faceta de director, se dio cuenta de que necesitaba perfeccionar sus conocimientos musicales. Para ello tomó clases de piano con el francés Jules Barré, y en 1833 pidió una beca al gobierno para estudiar música en Europa. Finalmente, sin embargo, las condiciones del viaje no lo sedujeron y desistió. Entonces se volcó a investigar entre las colecciones de la Biblioteca Nacional los manuales y partituras de Mozart y otros compositores de renombre. Esta labor le sirvió a Zapiola como una instancia preparatoria para su incursión en la composición. Sus primeras obras fueron piezas de música sacra y composiciones laicas breves. De esos primeros años destacan "Domine ad adjuvandum me" (1835) y un réquiem (1837) inspirado en Mozart para los funerales de Diego Portales, en cuyo estreno ofició de director, pero manteniendo su autoría en el anonimato.

Tras el estreno en 1839 del Himno de Yungay, Zapiola se consolidó como un director y compositor de renombre. Continuó dirigiendo la orquesta en el Parral de Gómez, junto a la cual había estrenado el himno, y compuso algunas piezas para teatro y otras obras menores, entre las cuales destacan la transcripción que realizó de la zamacueca "Negro Querido", un "Bolero" para piano y una contradanza llamada "La argentina". Por consejo de Isidora Zegers, se asoció con músicos franceses y ofreció conciertos en Santiago y Valparaíso con los famosísimos cantantes Lanza, Maffei y Carruel. En 1842 organizó una orquesta sinfónica, con la cual realizó un concierto en noviembre de ese año en el Teatro Municipal. En esos años escribió tres obras que se presentaron en teatro -Contradanza, Boleras del Lelito y Juguete Invitatorio- y el Himno a la Bandera (1843).

En 1853 se incorporó al Conservatorio como profesor, luego de haber sido criticado por esta institución en varias publicaciones. Meses después, fue nombrado subdirector, cargo que abandonó al poco tiempo. Samuel Claro asegura que en esta época escribió un Tratado de Armonía, aún inédito, y unos Ejercicios Graduados en la cátedra de Canto Llano (Claro, Samuel. "José Zapiola, músico de la Catedral de Santiago", Boletín de la Academia Chilena de la Historia (88), 1974, p. 231).

En 1864, Zapiola reemplazó a José Bernardo Alzedo como director del coro y la orquesta de la Catedral. En ese cargo, en el que permaneció por diez años, realizó un valioso aporte al orden y crecimiento del archivo catedralicio.