Zachow provavelmente recebeu seu treinamento de seu pai, o flautista Heinrich Zachow, um dos músicos da Alta capella da cidade de Leipzig, e talvez de Johann Schelle, um importante compositor alemão, quando a família se mudou para Eilenburg. Como Kantor e organista da Market Church de Halle em 1684 ele sucedeu Samuel Ebart. Durante seu tempo em Halle tornou-se particularmente conhecido como compositor de cantatas dramáticas. Em 1695 foi criticado pelos pietistas por causa de sua música excessivamente longa e elaborada, que só poderia ser apreciada por cantores e organistas. Zachow foi influenciado por Johann Theile em Merseburg e pela poesia de Erdmann Neumeister, pastor na vizinha Weissenfels, e suas críticas ao pietismo.