Instytut rozpoczął działalność od roku akademickiego 1898/1899, wchodząc w skład Wydziału Filozoficznego. Jego założycielem i wieloletnim wykładowcą (w latach 1898–1927) był profesor Guido Adler (1855–1941).
Obszerny gmach w stylu neorenesansowym został otwarty w 1884 r. Do pierwszych polskich absolwentów wiedeńskiej muzykologii należeli Konrad Zawiłowski z Krakowa (1902) i Zdzisław Jachimecki ze Lwowa (1906).
Dla Józefa Kofflera, który początkowo przez trzy semestry studiował na Wydziale Prawa Uniwersytetu Wiedeńskiego (1914–1916), pierwszymi zajęciami o tematyce muzycznej był lektorat harmonii i kontrapunktu prowadzony przez Hermanna Grädenera (semestr letni 1914/1915 i semestr zimowy 1915/1916). Począwszy od semestru letniego 1915/1916 Koffler już jako student Wydziału Filozoficznego zaczął uczęszczać na zajęcia z zakresu muzykologii. Przerwaną w 1916 r. (ze względu na działania wojenne i służbę wojskową) edukację kontynuował od semestru zimowego 1920/1921 do semestru letniego 1922/1923. Łącznie ukończył siedem semestrów studiów muzykologicznych, kształcąc się u takich wykładowców, jak m.in. Guido Adler, Egon Wellesz, Wilhelm Fischer i Robert Lach.
Z gmachem uniwersyteckim w Wiedniu Koffler związany był łącznie przez ponad pięć lat.