Początkowo był altowiolistą w berlińskich orkiestrach, natomiast w zakresie dyrygentury – samoukiem. Asystował Schönbergowi przy premierze Pierrot lunaire w 1912 r., a wkrótce tym właśnie utworem zadebiutował jako dyrygent. Jego kariera obejmowała pracę z wieloma orkiestrami, np. w Rydze, Lipsku, Frankfurcie, Królewcu i Winterthur. W 1933 r. w obliczu nazizmu opuścił Niemcy i osiedlił się w Szwajcarii, gdzie został dyrygentem orkiestr w Zurychu i Beromünster. Scherchen był znany ze swojego innowacyjnego stylu dyrygowania, często pracując bez batuty i używając obszernych instrukcji słownych.
Założył Neue Musikgesellschaft i czasopismo „Melos”. Redagował także „Musica viva”, czasopismo poświęcone nowej muzyce wydawane w Brukseli (1933–1936). Wielokrotnie dokonywał premier awangardowych dzieł swoich czasów, jak np. trzech fragmentów z Wozzecka Berga (1924), Koncertu skrzypcowego Berga (1936) i Matki Háby (1930). Od momentu założenia Międzynarodowego Towarzystwa Muzyki Współczesnej w 1923 r. aktywnie uczestniczył w jego działaniach, wielokrotnie pełniąc funkcję głównego dyrygenta podczas międzynarodowych festiwali muzycznych. Po wojnie kontynuował działalność artystyczną, prowadząc kursy mistrzowskie i propagując twórczość kompozytorów XX wieku. W 1954 r. stworzył Studio Badań Elektroakustycznych w Gravesano, gdzie mieszkał.
Już w 1930 r. polski kompozytor napisał dla „Kwartalnika Muzycznego” Adolfa Chybińskiego recenzję z Lehrbuch des Dirigierens (Leipzig, 1929) Scherchena, a oficyna „Ars viva” była jednym z dystrybutorów materiałów wykonawczych do utworów Kofflera. Scherchen dyrygował ważnymi wykonaniami dzieł symfonicznych Kofflera: w styczniu i lutym 1937 r. poprowadził we Lwowie wykonania II Symfonii op. 17, a w 1938 r. – na koncercie inauguracyjnym XVI Festiwalu MTMW w Londynie – premierę III Symfonii op. 21. Na zamówienie dyrygenta Koffler napisał orkiestrową aranżację Wariacji Goldbergowskich (Aria mit verschiedenen Veränderungen) Jana Sebastiana Bacha, której partyturę Maciej Gołąb odnalazł w archiwum Scherchena w Berlinie, gdzie znajdują się też partytury Koncertu fortepianowego op. 13 i baletu-oratorium Alles durch M.O.W op. 15.
Najprawdopodobniej w latach 30. Kofflerowie i Scherchen wraz ze swoją ówczesną żoną, kompozytorką Xiao Shuxian, pozostawali w ciepłych relacjach także na gruncie prywatnym.