Zachow probablemente recibió su formación de su padre, el gaitero Heinrich Zachow, uno de los músicos de alta capella de la ciudad de Leipzig, y tal vez de Johann Schelle, un destacado compositor alemán, cuando la familia se mudó a Eilenburg. Como Kantor y organista de la Iglesia del Mercado de Halle en 1684 sucedió a Samuel Ebart. Durante su estancia en Halle se hizo especialmente conocido como compositor de cantatas dramáticas. En 1695 fue criticado por los pietistas por su música excesivamente larga y elaborada, que sólo podían apreciar los cantores y organistas. Zachow fue influenciado por Johann Theile en Merseburg y la poesía de Erdmann Neumeister, pastor del cercano Weissenfels, y su crítica al pietismo.