Zachow a probablement reçu sa formation de son père, le joueur de cornemuse Heinrich Zachow, l'un des musiciens de l'Alta capella de la ville de Leipzig, et peut-être de Johann Schelle, un compositeur allemand de premier plan, lorsque la famille a déménagé à Eilenburg. En tant que Kantor et organiste de l'église du marché de Halle, il succède en 1684 à Samuel Ebart. Durant son séjour à Halle, il devint particulièrement réputé en tant que compositeur de cantates dramatiques. En 1695, il fut critiqué par les piétistes à cause de sa musique excessivement longue et élaborée, qui ne pouvait être appréciée que par les chantres et les organistes. Zachow a été influencé par Johann Theile à Merseburg et par la poésie d'Erdmann Neumeister, pasteur du Weissenfels voisin, et par ses critiques sur le piétisme.