Budowa gmachu, który stał się główną salą koncertową Warszawy z widownią mogącą pomieścić ponad 2000 osób,rozpoczęła się w 1900 roku z inicjatywy Aleksandra Rajchmana, wydawcy „Echa Muzycznego, Teatralnego i Artystycznego”. Projekt architektoniczny powierzono Karolowi Kozłowskiemu, który wzorował się na europejskich salach koncertowych XIX wieku, szczególnie Operze Paryskiej.
Budynek wzniesiono w stylu eklektycznym, z elementami neorenesansu i neobaroku, w centrum finansowym ówczesnej Warszawy – na przecięciu ulic Jasnej, Moniuszki i Sienkiewicza. Na fasadach umieszczono rzeźby wybitnych kompozytorów: Beethovena, Chopina, Moniuszki i Mozarta. Uroczyste otwarcie nastąpiło 5 listopada 1901 roku, a uświetnił je występ Ignacego Jana Paderewskiego.
Filharmonia Warszawska była też miejscem prezentacji wielu utworów polskich kompozytorów współczesnych. W 1932 r. w Filharmonii Warszawskiej odbył się koncert poprowadzony przez Grzegorza Fitelberga, na który składały się następujące utwory: Igor Strawiński Pietruszka (1911), Piotr Perkowski Sinfonietta (1927), Michał Kondracki Żołnierze (1932) oraz Józef Koffler Wariacje na temat własny [15 Wariacji szeregu 12 tonów] op. 9 (1931). W 1936 r. wariacje te zabrzmiały ponownie w Filharmonii Warszawskiej, tym razem obok VII Symfonii A-dur op. 92 Ludwiga van Beethovena.
Podczas II wojny światowej budynek Filharmonii Warszawskiej został poważnie zniszczony – najpierw, podczas obrony Warszawy, spalony, a następnie, podczas powstania warszawskiego w 1944 r., zbombardowany. Odbudowano go w 1955 roku w zupełnie innym, socrealistycznym stylu architektonicznym. W listopadzie 2001 roku, w setną rocznicę powstania Filharmonii, przywrócono na fasadzie budynku dwie ocalałe rzeźby Chopina i Moniuszki.