La ville d’Avignon est riche d’une histoire longue et complexe. Même si les origines de sa fondation sont assez floues et que quelques traces d’une présence humaine à l’époque romaine sont visibles, elle connaît un essor considérable au Moyen-Âge. En effet, dès le Moyen-Âge « intermédiaire » avec ses institutions consulaires vers 1130, la ville a connu un grand rayonnement régional (qui se concrétise avec le début de la construction du pont d’Avignon vers 1177). De plus, à partir de 1226 la ville devient un centre des politiques et confrontations entre le Roi de France, le Pape et l’Empereur du Saint-Empire.
C’est au milieu du XIIIème siècle que Les Frères de la Pénitence du Christ fondent le prieuré de Notre-Dame de Fénholé. L’ordre est dissout lors du second Concile de Lyon (1274) et doit s’intégrer dans un des quatre ordres mendiants reconnus à savoir dominicains, franciscains, augustins et carmes. Ce n’est que trois siècles plus tard que ceux qu’on a appelé « les Pénitents noirs » s’installent. Ils réparent la vielle chapelle de Notre-Dame de Fenouillet (Fénholé), construisent une sacristie et une anti-chapelle. Ces travaux de construction marquent leur volonté de s’affirmer par rapport aux autres ordres mendiants mais aussi de remplir leur but premier ; porter secours et assistance aux prisonniers et condamnés. Ces « pénitents de la miséricorde » possédaient le privilège de pouvoir libérer un condamné tous les ans. Après la chute en 1791 d’une partie du rocher des Doms (détruisant la partie ouest de l’hospice) s’ensuit la dissolution de cette compagnie avec la Révolution. En 1815, des religieuses de Saint Charles organisent la réouverture de la « Maison Royale de Santé » tandis que les pénitents noirs, malgré leur réinstauration, ne gardent que la Chapelle. Le 8 janvier 1847, le département est reconnu propriétaire des bâtiments, cependant l’hôpital est considéré comme ophélète face aux progrès de la médecine.
Pendant plusieurs années, la commune d’Avignon avait eu pour projet de construire de nouvelles prisons car la Tour Campane, qui faisait office de prison depuis la Révolution, n’était plus adaptée et surtout surchargée. Le 6 octobre 1862, le conseil municipal d’Avignon envisage de transférer les prisons départementales à l’ancien hospice. La construction de la Maison d’Arrêt Sainte Anne est, d’une certaine manière, déclenchée indirectement à travers un projet d’utilité publique le 16 août 1863 (évoqué dans une ordonnance de Napoléon III qui entraîne une véritable vague de création de nouvelles prisons). C’est dans le courant de l’année 1864 que les travaux d’un projet s’étendant bien plus loin que l’office débutent, ils ne s’achèvent qu’en 1871 et au total 34 propriétaires seront expulsés de leur propriété soit une superficie de 8400m² (140 mètres de long et 60 mètres de large). Cette prison se constitue près du Palais des Papes au pied du Rocher des Doms. Elle vient remplacer l’ancienne maison de santé des aliénés, à quelques mètres de l’escalier Sainte Anne, d’où l’appellation de la Maison d’Arrêt.
La prison, conçue en pierres de taille, a la particularité de combiner un plan à cour centrale (caractéristique des prisons françaises du XIXème siècle) et un plan trapézoïdal à multiples cours.
Elle comporte évidemment un chemin de ronde et la dimension des cellules varie entre 9 et 25 m², comprenant ainsi entre deux à six détenus. Cette prison n’a donc pas été construite sur un modèle d’isolement cellulaire, excepté en 1905 où des travaux sont initiés pour créer un quartier cellulaire terminé en 1920. Malgré la transformation d’une chapelle en cuisine, la Maison d’Arrêt n’a que très peu changé depuis la fin du XIXème siècle. Cependant, la prison connaît quelques transformations au cours du XXème siècle ; réquisitionnée pour les prisonniers de guerre par l’armée pendant la Première Guerre mondiale, le bâtiment devient en 1922 prison départementale et est cédé à l’État. Lors de la Seconde Guerre mondiale, la Maison d’Arrêt « abrite », selon qui en est « maître », des résistants, des collaborateurs ou bien des juifs.
Durant la guerre d’Algérie, quelques prisonniers politiques y sont détenus, ainsi on pouvait y retrouver des membres du MNA et de l’OAS. C’est seulement depuis la fin de cette guerre que sont incarcérés uniquement des détenus de droit commun. En juin 2000, une commission d’enquête engagée par le Sénat dépose un rapport déclarant la prison Sainte Anne trop vétuste et c’est ainsi que la fermeture de la Maison d’Arrêt d’Avignon est actée, remplacée plus tard par le Centre Pénitentiaire de Pontet.