Gaston Louis Christopher Borch nació el 8 de marzo de 1871 en Guînes, Pas de Calais, Francia, de una mujer francesa (Emma Louise Sophie Hennequin) y de un padre noruego (Christopher Wolner Borch). Mlle Hennequin era una excelente pianista y soprano y, según se informa, una vez estuvo comprometida para casarse con el compositor Jules Massenet. Se sabe que realizó un concierto en colaboración con Massenet en 1860 y mantuvo correspondencia con él hasta su muerte. Gaston Borch tocó el violonchelo y estudió composición con Jules Massenet en Francia, Bruno Liljefors en la Escuela de Bellas Artes de Valands en Suecia y con Svendsen en Copenhague. De 1893 a 1899 dirigió varias orquestas en Noruega. En 1898 se presentó en Christiana su ópera Silvio. En este punto, es posible que haya recibido lecciones privadas con Grieg, quien lo recomendó como "uno de los mejores chefs de orquesta y los compositores más prometedores de nuestro tiempo".