Marky reemplazó a Tommy Ramone en la batería de The Ramones después de que éste se retirara en 1978. Su primera participación fue en el disco Road to Ruin de ese mismo año y tocó en vivo por primera vez el 29 de junio.

Anteriormente había sido baterista de la banda neoyorkina Richard Hell & The Voidoids, donde grabó algunos álbumes. Su último show con los Ramones fue el 27 de noviembre de 1982, tras lo cual se retiró de la banda por tener problemas con el alcohol. Estos problemas le llevaron a faltar a un concierto el 10 de octubre de 1981, el único que se suspendió en toda la historia de la banda. Fue reemplazado por Richie Ramone. Sin embargo, el 4 de septiembre de 1987 regresó a la banda donde permaneció hasta la disolución del grupo en 1996, su ultimo concierto de la gira mundial fue en Argentina, aunque se recuerda una ultima participacion en el festival lollapaloza a fines de ese año. En 2006 se celebró el 30 aniversario de la grabacion del primer album y Marky se encargo de realizar una gira mundial, en la que se recuerdan viejos temas como: Blitzkieg bop, Judy is a punk, I remember you, entre otras.
Su primer banda fue "Dust", pero como eran muy jovenes no podian tocar en ningun lado, pero igual grabaron dos discos, en los cuales Marky era muy tecnico en la bateria.