Figlio di Vincenzo, magistrato, e di Virginia D'Aurio, discendente di pittori e scultori napoletani, compie gli studi musicali prima privatamente ed in seguito al Conservatorio San Pietro a Majella di Napoli, in quegli anni uno dei più prestigiosi d'Europa, con Beniamino Cesi per il pianoforte e Lauro Rossi per la composizione. Ottiene il diploma a soli sedici anni, per poi laurearsi in lettere a venti all'università di Bologna, seguendo tra l'altro i corsi di Giosué Carducci.
Durante la permanenza a Bologna compone, su libretto proprio, la sua prima opera, Chatterton, che sarà rappresentata soltanto nel 1896.
Terminati gli studi universitari si trasferisce in Egitto, dove trascorre un lungo e avventuroso periodo facendo il pianista fino a quando, coinvolto dalla guerra anglo-egiziana, decide di fuggire in Francia, prima a Marsiglia e quindi a Parigi.
Nella capitale francese si guadagna da vivere suonando per il café-chantant Eldorado, scrivendo canzoni e aiutando i cantanti a preparare le letture delle opere.
Grazie alla raccomandazione del baritono Victor Maurel ottiene da Ricordi la commissione, e quindi un assegno, per musicare I Medici, inizio di una trilogia sul Rinascimento italiano. Il compositore, animato da grandiosi progetti, avrebbe dovuto continuare con Savonarola e Cesare Borgia, ma riesce a portare a termine, con scarsa fortuna, unicamente la prima delle tre opere che viene rappresentata solamente nel 1893, visto che Ricordi, quando ormai si sta per andare in scena, gli preferisce La Wally di Catalani. Ma non solo: quando si intravede la possibilità di dare l'opera a Torino e a Venezia, gli impresari rinunciano a I Medici, visto che sempre Ricordi ha promesso un premio particolare a chi rappresenta Edgar, l'opera "fallita" di Puccini, per tentare di rilanciarla.

Leoncavallo si rende conto che l'amico Marco Sala, il giornalista che anima uno dei più noti salotti alla moda del tempo, ha ragione: "Difenda in tutti modi il suo lavoro e tenga aperti gli occhi. Si rammenti che Casa Ricordi compra per sotterrare....".
Decide a questo punto di scrivere una opera breve, prendendo spunto dal successo ottenuto da Cavalleria Rusticana, realizzando il libretto che si ispira a un fatto di cronaca realmente avvenuto a cui ha assistito a Montalto in Calabria.
Quando il testo dei futuri Pagliacci è pronto si reca da Ricordi per farglielo leggere, ma l'editore resta sconcertato in particolare dalla parte più originale del libretto e cioé il momento iniziale nel quale il protagonista recita il prologo, che sarà poi praticamente il manifesto dell'opera verista.
Leoncavallo racconta che l'editore rispose: "Veda, però quell'uomo vestito di bianco come può essere preso sul serio dal pubblico? C'è troppa confusione di tragico e di comico perché si possa ottenere un qualsiasi effetto." Ed ecco che Ricordi si gioca uno dei più cospicui affari della storia editoriale, visto che con questa sola opera Leoncavallo supererà gli incassi di Verdi!
Il compositore, afflitto per il responso ma convinto della bontà di quanto ha creato, va a far visita a Sonzogno, che si entusiasma alla storia e acquista i diritti alle stesse condizioni di Cavalleria Rusticana e cioè il trenta per cento sui noleggi per venti anni ed un assegno subito di tremila lire.
Nel frattempo collabora con Puccini per la stesura del libretto di Manon Lescaut, preparando una prima traccia di sceneggiatura per il collega, che però non la gradisce. Dopo una lunga gestazione il libretto viene finalmente approntato, ma insieme a Illica, Oliva, Praga e Giulio Ricordi. Almeno così risulta dal programma di sala della prima di Manon, visto che, nelle successive edizioni, Ricordi, che non proverà mai nessuna simpatia per Leoncavallo, pensa bene di farlo sparire.
Pagliacci viene rappresentata al Teatro Dal Verme di Milano il 21 maggio 1892 sotto la direzione di Arturo Toscanini, con Victor Maurel nella parte di Tonio e coglie subito un clamoroso successo, tanto che viene salutato come "campione in seconda" (il primo è Mascagni) della scuola verista. La sua opera più fortunata e significativa gli apre nel giro di pochi mesi le porte di tutti i più importanti teatri del mondo e gli fa raggiungere una certa agiatezza economica.
Leoncavallo diventa così di pieno diritto esponente, con Mascagni, Puccini, Giordano ed altri, di quella "Giovane scuola musicale italiana" che professa gli ideali di rinnovamento dell'opera lirica.
Rendendosi conto di aver ancora sotto contratto una gallina dalle uova d'oro, Ricordi pretende la consegna del manoscritto di I medici, ma Leoncavallo si rifiuta di darglielo, facendo scoppiare una vertenza che vede la fine solamente nel 1899 con un giudizio della Cassazione poco favorevole all'editore.
Nell'anno successivo all'andata in scena di Pagliacci, Leoncavallo si accinge a musicare La vie de Bohème di Henri Murger, idea che gli viene graziosamente rubata dall'amico Puccini, pare con lo zampino di Ricordi, che non dimentica la defezione dalle fila della sua casa editrice di Leoncavallo.
Lo scandalo scoppia pubblicamente sui giornali, nei salotti e negli ambienti teatrali. Vistor Maurel, che sta interpretando alla Scala il Falstaff di Verdi, decide di testimoniare a favore di Leoncavallo. I giornali si schierano apertamente: il Corriere della Sera con Puccini e Il Secolo con Leoncavallo.
Puccini chiama il vecchio amico, che ormai tratta in modo sprezzante, Leonbestia, Bisbestia, Leonasino, mentre Mascagni, malgrado gli interessi che lo legano a Leoncavallo nel lucroso accoppiamento Pagliacci - Cavalleria Rusticana, scrive: "Bestia il primiero (Leon); Bestia il secondo (Cavallo); Bestia l'intiero (Leoncavallo)".
La sua Bohème, dalla vena comico-sentimentale, viene presentata con un'interprete d'eccezione, la famosa Rosina Storchio, alla Fenice di Venezia nel 1897. Ottiene un favorevole successo di pubblico e di critica, che viene offuscato dal trionfo accordato un anno prima all'omonima opera di Puccini e nel giro di alcuni anni esce dal repertorio.
Di impostazione ancora verista è Zazà (1900), opera particolarmente ardita per quel periodo, visto che è basata su un personaggio femminile audace e quanto meno vivacissimo.
L'imperatore di Germania Guglielmo II gli commissiona Der Roland von Berlin (1904) a cui seguono Maia (1910), Gli zingari (1912), Goffredo Mameli (1916), Edipo Re (1920).

Si stabilisce a Montecatini Terme, dove ha già passato lunghi periodi a partire dal 1913 da quando, per tenere buoni i creditori, è stato obbligato a vendere la sua sontuosa villa, che si è fatto costruire sul Lago Maggiore, a Brissago, con i primi guadagni di Pagliacci. Nella cittadina termale conosce Gioacchino Forzano e decide, dopo essersi sempre scritto da sé i suoi libretti e averne scritti anche per altri, di musicare i versi preparati dal giovane giornalista de La Nazione per Malborough prima e per l'operetta Reginetta delle rose (1914) poi, che ottiene un notevole successo.
Leoncavallo cerca in quel periodo un soggetto musicale di genere nuovo. Illica gli fornisce Avemaria che il compositore giudica immediatamente "vibrante di poesia, di patriottismo e d'emozione". Incontra quindi Caruso e il sovrintendente del Metropolitan, Gatti Casazza, nel luglio 1914, ma il vertice si risolve in un nulla di fatto visto che l'opera è ancora da musicare, mentre Caruso si dice oberato di lavoro per almeno tre anni.
La vena compositiva di questo artista di rara intelligenza, sensibilità e raffinatezza musicale (ma anche mangiatore, bevitore e giocatore impenitente) non si esaurisce ed i teatri più importanti gli aprono ancora le loro porte. Ma le sue nuove opere, passati i primi entusiasmi, vengono dimenticate, visto che nessuna riesce più a raggiungere l'immediatezza drammatica e melodica di Pagliacci, che continuano ad essere
rappresentati costantemente in tutto il mondo. E di questo Leoncavallo si lamenta. Arturo Toscanini in una intervista nel 1929 racconta: "Una volta che a Milano era annunziata una grande serata patriottica di beneficenza con I Pagliacci da me diretti, e con Caruso, ecco Leoncavallo a sollecitarmi di dirigere invece Zazà, aggiungendo che lo rattristava di essere eternamente e solamente l'autore di Pagliacci. E che potevo farci io? Credetemi: non v'è direzione o interpretazione illustre che possa galvanizzare un'opera inconsistente".
Leoncavallo, oltre che all'opera lirica, si dedica, dimostrando estro ed uno slancio melodico di immediata efficacia, anche alla musica sinfonica, strumentale (in particolar modo al pianoforte per il quale scrive valzer tra i più belli del periodo), alla romanza da salotto e alle canzoni: sono sue le celeberrime Mattinata e Serenatella, tuttora tra i brani musicali più eseguiti al mondo.
Quando muore nel 1919, gli vengono tributate grandi onoranze ai Bagni di Montecatini. Tante personalità vengono a rendergli un commosso omaggio e tra questi l'ex-amico, profondamente scosso, Giacomo Puccini con Pietro Mascagni.