Bergt wurde als Sohn des Stadtmusikus in Oederan geboren. 1784 kam er auf die Kreuzschule nach Dresden. Ab 1791 studierte er Evangelische Theologie an der Universität Leipzig. Nach seinem 1794 bestandenen Examen wurde er zunächst Hauslehrer für die Kinder des Superintendenten an der Thomaskirche in Leipzig. Gleichzeitig studierte er Musik und wurde 1802 als Organist an den Dom St. Petri in Bautzen berufen und bald darauf zusätzlich zum Musiklehrer am dortigen Lehrerseminar. Diese Stellen hatte er bis zu seinem Tode inne.

Bergts umfangreiches Werk, das nur zum Teil im Druck erschienenen ist, umfasst sowohl weltliche wie geistliche Musik, wobei die letztere die größere Nachwirkung hatte und teilweise bis heute aufgeführt wird. Aufgrund des Charakters des Bautzener Doms als Simultankirche schuf Bergt Werke sowohl der evangelischen als auch der katholischen Kirchenmusik.