Gaston Louis Christopher Borch est né le 8 mars 1871 à Guînes, Pas de Calais, France, d'une française (Emma Louise Sophie Hennequin) et d'un père norvégien (Christopher Wolner Borch). Mlle Hennequin était une excellente pianiste et soprano et aurait été autrefois fiancée au compositeur Jules Massenet. On sait qu'elle donna un concert en collaboration avec Massenet en 1860 et correspondit avec lui jusqu'à sa mort. Gaston Borch jouait du violoncelle et étudia la composition avec Jules Massenet en France, Bruno Liljefors à l'École des Beaux-Arts de Valans en Suède et avec Svendsen à Copenhague. De 1893 à 1899, il dirigea divers orchestres en Norvège. En 1898, son opéra Silvio est présenté à Christiana. À cette époque, il a peut-être suivi des cours particuliers avec Grieg, qui l'a recommandé comme « l'un des meilleurs chefs d'orchestre et des compositeurs les plus prometteurs de notre temps ».