Zachow probabilmente ricevette la sua formazione da suo padre, il suonatore di cornamusa Heinrich Zachow, uno dei musicisti della città di Lipsia nell'Alta cappella, e forse da Johann Schelle, un importante compositore tedesco, quando la famiglia si trasferì a Eilenburg. Come Kantor e organista della Chiesa del Mercato di Halle nel 1684 succedette a Samuel Ebart. Durante la sua permanenza ad Halle divenne particolarmente famoso come compositore di cantate drammatiche. Nel 1695 fu criticato dai pietisti per la sua musica eccessivamente lunga ed elaborata, che poteva essere apprezzata solo da cantori e organisti. Zachow fu influenzato da Johann Theile di Merseburg e dalla poesia di Erdmann Neumeister, pastore nella vicina Weissenfels, e dalla sua critica al pietismo.