À partir de 1847, où les soldats quittent le fort, à 1881, le fort servit de carrière au voisinage. On vola la pierre et presque tous les murs de l’intérieur et le mur faisant face à la rivière sont disparus. Il y avait onze cheminées de 40 pieds de haut dans le fort. Maintenant il n’en reste plus qu’une. Les autres ont tellement bien disparu qu’il est difficile d’en indiquer l’emplacement. Ce vandalisme s’est continué jusqu’en 1881, quand on songea à recouvrir ce qu’il restait de la maçonnerie pour la protéger contre la pluie. On boucha aussi la plupart des fenêtres et des meurtrières sous la garde de M. Dion, un antiquaire du voisinage. Il aurait voulu qu’il fut restauré pour en faire une retraite pour les vétérans. (Le Canada-Français, 18 août 1899. Article non signé ).
