La Orquesta Filarmónica de Berlín se fundó en esta ciudad en la primavera del 82 por 54 músicos bajo el nombre de Fruhere Bilsesche Kapelle (la antigua banda Bilse); el grupo se separó luego que el conductor Benjamín Bilse anunció su intención de entrenar con la banda cuatro veces por día para el concierto en Warsaw.

El hombre que le dio a la orquesta el nombre actual y la reorganización fue Hermann Wolf en 1887.

El primer director bajo la nueva organización de la orquesta fue Ludwig von Brenner; en 1887 Hans von Vulgo, uno de los más estimados y elogiados directores en el mundo, se unió, y desde ese momento, la reputación fue en crecimiento.
La orquesta tuvo invitados como Hans Richter, Felix von Weingartner, Richard Strauss, Gustav Mahler, Johannes Brahms y Edvard Grieg que condugeron la orquesta a través de los años siguientes.

En 1895, Arthur Nikisch se convirtió en conductor principal, y fue sustituido en 1923 por Wilhelm Furtwangler.

La orquesta continuó realizando actuaciones, también, a lo largo de la Segunda Guerra Mundial, a pesar de varios cambios en el tema de los conductores. Luego de que Furtwangler huyó a suecia en 1945, Leo Borchard se convirtió en el director de la orquesta. Este acuerdo duró unos meses, sin embargo, el accidentalmente recibió un disparo de las fuerzas americanas que ocupaban Berlín y falleció. Sergio Celibidache tomó el cargo, pero Furtwangler volvió en 1952 y condujo la orquesta hasta que falleció en el año 1954.



Su reemplazante fue el legendario Herbert von Karajan, quien estuvo en la orquesta hasta 1989, renunciando unos meses antes de su muerte. Bajo su conducción la orquesta realizó abundantes grabaciones y viajes. Luego, Claudio Abbado tomó el puesto como director principal, con el la orquesta expandió su repertorio mas allá de los trabajos de coros clásicos y romántico, y entró en los trabajos modernos del Siglo XXI.

Simon Rattle hizo una condición como cantante con la Filarmónica de Berlín, con el poder de hacer sus propias decisiones artísticas y financieras. Esto requería de un cambio, en la ley del estado, que fue aprobada en 2001, permitiéndole a Simon unirse a la organización en el 2002. La actual conductora de la orquesta es la americana Pamela Rosenberg. El primer hall para conciertos de la orquesta fue destruido durante la Segunda Guerra Mundial. El nuevo Berliner Philarmonie fue construido en 1963 por el arquitecto Hans Scharoun en el Kulturforum.