Di famiglia benestante, iniziò lo studio della musica al pianoforte con l' insegnamenti della madre e a soli nove anni era in grado di eseguire un concerto di Field. Avviato alla carriera militare, tradizione in uso per i rampolli delle famiglie nobiliari, a Pietroburgo conobbe padre Krupskij che gli permise di approfondire le sue conoscenze sulla musica sacra russa e bizantina.
Nel 1856 inizia la sua vita e l'ambiente da ufficiale dove conoscerà il musicista Dargomyzskij che, a sua volta, lo presenterà ad un gruppo di musicisti che, con lui, si impegneranno a cambiare il volto della musica in terra di Russia.
I musicisti erano Cui, Borodin, Balakirev e Rimskij-Korsakov che insieme formeranno il celebre "gruppo dei cinque".

Balakirev fu anche suo maestro di composizione. Abbandona l'esercito nel 1859 per dedicarsi alla musica a tempo pieno.
Quando, nel 1861, viene abolita in Russia la servitù della gleba Mussorgskij si ritrova improvvisamente impoverito e costretto ad accettare un umile impiego statale. E' del 1867 il suo celebre poema sinfonico Una notte sul monte Calvo scritto in soli 12 giorni ed unica sua opera esclusivamente orchestrale.
Nel 1874 rappresenta la sua grande opera teatrale il Boris Godunov (una delle versioni è stata completamente riveduta e ristrumentata da Rimsky-Korsakov). Nel 1886, postuma, ricordiamo la rappresentazione di Chovanšcina, composta dal 1874 e rimasta incompiuta. Tra le opere per pianoforte ricordiamo i celebri Quadri di un esposizione che verranno, nel 1922, egregiamente orchestrati da Maurice Ravel; è in questa versione orchestrale che l'opera diventerà famosa in tutto il mondo. Questa composizione venne scritta da Musorgskij in commemorazione dell'amico pittore Victor Hartmann dopo aver visitato un'esposizione, postuma, di alcune sue opere a San Pietroburgo.
Non lasciò praticamente mai San Pietroburgo fatta eccezione, nel 1879, per una tournée come accompagnatore al pianoforte della cantante Darija Leonova.
La sua musica, comunque, stentava ad essere apprezzata dalla critica ufficiale ed alcune sventure personali (tra cui la perdita della madre e della donna amata), fecero precipitare l'artista in uno stato di sconforto e ad abbandonarsi all'alcolismo.

Dopo un attacco epilettico, a soli quarantadue anni, morirà abbandonato da tutti in un ospedale militare.
Si racconta che, in punto di morte, Musorgskij abbia pronunziato la drammatica frase "Tutto è finito, il dolore sono Io!".