De Geschiedenis van de Grote Kerk gaat terug tot in de 14e eeuw, toen op de plaats van de huidige kerk een kleine eenbeukige kruiskerk werd gebouwd. Deze kerk, die omstreeks 1365 in gebruik werd genomen, was gewijd aan Johannes de Doper. De kerk had een vrijstaande toren. In het begin van de 15e eeuw werden zijbeuken aangebouwd. De kerk werd toen een hallenkerk.
Bisschop David van Bourgondië (ca. 1427-1496), die zich in 1459 op het kasteel in Wijk bij Duurstede vestigde, is de drijvende kracht geweest achter de bouw van de huidige toren. In 1486 werd opdracht gegeven voor de bouw van een nieuwe toren, die echter nooit werd afgebouwd. Waarschijnlijk heeft geldgebrek er toe geleid dat de toren slechts ca. 40 meter hoog is geworden.
In de toren hangen vier luidklokken, waarvan de oudste, de Mariaklok, in 1506 werd gegoten door de Utrechtse klokkengieter Willem van Wou. Op de klok staat de volgende inscriptie:
"Maria is mijn naem mijn ghelut is voor Got bequaem den levenden roep ik den doden overludic haghel ende donder verstuer ik Wilhelmus de Wou me fecit Anno Domini MCCCCCVI".
De overige klokken dateren uit 1515, 1519 en 1717.
Onder bisschop Philips van Bourgondië (1465-1524) werd in het begin van de 16e eeuw begonnen met een totale vernieuwing van de kerk. Omstreeks 1523 is het dwarsschip met koor gereed gekomen. In 1532 zijn de stenen gewelven boven de noordelijke beuk gerealiseerd. Ook het middenschip wilde men van stenen gewelven voorzien, maar dit is nooit uitgevoerd. Wel zijn nog de aanzetten voor de gewelven te zien. Er is tot 1572 aan de kerk gebouwd, zoals is te lezen op de gewelven van de noordbeuk.
In 1579 is het koor van de kerk door brand verwoest en nooit meer opgebouwd. De graven van de bisschoppen zijn bij de brand verloren gegaan. Sinds 1581 is de Grote Kerk in gebruik voor de Protestantse eredienst.
Van 1968 tot 1976 is het gehele kerkgebouw ingrijpend gerestaureerd.
In 2008 heeft een restauratie van het kerkinterieur plaatsgevonden.
