La Tour Carrée témoigne du passé médiéval de Loudun. Elle domine la ville et son territoire. Construite probablement en bois vers 1040 par Foulques Nerra, Comte d’Anjou et Seigneur de Loudun, elle fut rasée et rebâtie sur les mêmes fondations par son petit fils Foulques le Rechin durant le XIIème siècle, selon la forme actuelle.

Cet édifice non pourvu de défenses militaires servait de tour de guet, haute de 31 mètres. Elle comportait trois étages séparés par des planchers ; l’étage supérieur comportant une voûte en pierre non visible du pied de la Tour,

Au XVème siècle elle a été enclavée dans les bâtiments du Palais Royal. Au XVIIème siècle, elle fut sauvée in extremis lors de la démolition, à la demande de Richelieu du château pour marquer la victoire du Royaume contre les places fortes protestantes.