Aunque la denominación de musicología es relativamente moderna, ya en la civilización griega se trataron algunas materias objeto de su estudio. Platón (en La República y Las leyes) y Aristóteles (en su Política) valoraron los efectos morales de diferentes tipos de músicas y su papel en la educación. Aunque ellos no pueden ser llamados musicólogos, el discípulo de Aristóteles, Aristógenos, merece ser considerado como tal por su teoría sobre las relaciones interválicas de sus Elementos de armonía y la organización temporal de la música y la poesía en sus Elementos de rítmica. En el siglo II d.C. Claudio Tolomeo, más conocido como astrónomo, amplió el campo de los escritos musicales con su Harmónica, un análisis sistemático del sistema tonal y especulaciones sobre la armonía del cosmos y el cuerpo y la mente del ser humano. Arístides Quintiliano (finales del siglo III y comienzos del IV) en su obra De musica incluye todos los aspectos teóricos y prácticos de la música. Las partes de la musicología sobre las que escribió fueron la teoría y la estética. Muchos personajes históricos, conocidos por otras realizaciones, pueden ser citados como musicólogos. Así, en el siglo XVII, el científico Marin Mersenne (Harmonie Universelle, 1636), el matemático y egiptólogo Atanasio Kircher (Musurgia Universalis, 1650) y en el siglo XVIII el filósofo Jean-Jacques Rousseau (Dictionnaire de Musique, 1768).
La mayoría de los musicólogos de tiempos recientes se han formado en universidades que confieren un doctorado en esta especialidad, aunque muchos han sido autodidactos o se han aproximado a la misma a partir de especialidades relacionadas, como la composición, la interpretación, la crítica o la historia. Algunos musicólogos del siglo XX que provenían de otros campos han sido los compositores Gian Francesco Malipiero, director de la edición de las obras de Monteverdi y Vivaldi, y Anton Webern, que revisó obras de Ockeghem, el clavecinista Ralph Kirkpatrick, que publicó las obras de Domenico Scarlatti, y Gustave Reese, que trabajó primero en el mundo del derecho, autor de dos de los mejores libros sobre la música medieval y renacentista de su tiempo: La música en la edad media (1940) y La música en el renacimiento (1954).
El origen del nombre de esta ciencia para todas las lenguas occidentales proviene del alemán Musikwissenschaft, aplicado por primera vez por el pianista y pedagogo Johann Berngard Logier en el título de su libro System der Musik-Wissenschaft (1827), que puede ser traducido como Sistema de la ciencia musical. El estudio científico de la música es consecuencia directa del positivismo que aspiró a aplicar el método científico de las ciencias naturales a todas las ramas del saber humano.