Гастон Луи Кристофер Борх родился 8 марта 1871 года в Гине, Па-де-Кале, Франция, в семье француженки (Эмма Луиза Софи Эннекен) и норвежца (Кристофер Вольнер Борх). Мадемуазель Эннекен была превосходной пианисткой и сопрано и, как сообщается, когда-то была помолвлена с композитором Жюлем Массне. Известно, что она дала концерт в сотрудничестве с Массне в 1860 году и переписывалась с ним до самой смерти. Гастон Борх играл на виолончели и изучал композицию у Жюля Массне во Франции, Бруно Лильефорса в Школе изящных искусств Валандс в Швеции и у Свендсена в Копенгагене. С 1893 по 1899 год дирижировал различными оркестрами Норвегии. В 1898 году его опера «Сильвио» была представлена в Кристиане. В этот момент он, возможно, брал частные уроки у Грига, который рекомендовал его как «одного из лучших руководителей оркестра и наиболее многообещающих композиторов нашего времени».