Bilo je osim njega i drugih papa koji su se povukli u posebnim povijesnim okolnostima, međutim nije to bilo odreknuće u pravom smislu te riječi.
Sveti Celestin V. odrekao se pontifikata u istoj godini kada je bio i izabran, 1294. Živio je kao pustinjak sve dok nije bio imenovan papom no nije se osjećao spremnim ponijeti taj teret Crkve.
Rođen 1215., Pietro del Morrone bio je skromna porijekla i živio je kao redovnik benediktinac u regiji Abruzzo sve dok k njemu u srpnju 1294. nije došlo dvanaest kardinala s konklava u Perugi i obavijestilo ga da je izabran za papu.
Izbor nepoznate osobe za papu trebao je zaustaviti rat između Gvelfa i Gibelina za nasljedstvo Nikole IV. koji je umro dvije godine ranije.
Pietro del Morrone odabrao je ime Celestin V. i prebacio je kuriju u Napulj. No novi papa vrlo je brzo iznio razloge koji su ga priječili da obnaša službu pape: bile su to njegova poniznost i svetost.
Odrekao se 13. prosinca 1294. u dogovoru s kardinalima.
Kardinal Benedikt Gaetani naslijedio ga je 24. prosinca i odabrao si ime Bonifacije VIII., no prisilno je Celestina držao uz sebe. Redovnik je pokušao pobjeći kako bi se vratio svome redu koji se nazvao celestincima, no uzalud jer su ga ulovili papini čuvari.
Celestin V. umro je 1296., i pokopan je u crkvi svoga reda u L' Aquili. Nesretnog redovnika nije poštedio pjesnik Dante Alighieri napisavši u svojoj Božanstvenoj komediji da se odrekao zbog kukavičluka.
I drugi pape napuštali su službu u drugim okolnostima. Tako je papa Martin I., isprva uhićen, a zatim prognan u Grčku 653., navodno još za života prešutno odobrio izbor drugoga pape, Eugena I.
Tri stoljeća poslije, 964. godine car Oton I. svrgnuo je papu Benedikta V., kojega su često predstavljali kao antipapu. Benedikt V. to je prihvatio čime se odrekao pontifikata.
Poznato je da je papa Ivan XVIII. umro 1009. u Rimu kao običan redovnik. Nadalje, papa Silvestar III., kojega je protjerao njegov suparnik Benedikt IX. 1045. godine poslije se bavio samom svojom dijecezom, a Benedikt IX. abdicirao je nekoliko mjeseci poslije u korist pape Grgura VI.
Nakon Celestina V. odreknuće je objavio i papa Grgur XII., na Koncilu u Konstanzu 1415., i povukao se kao kardinal biskup. Bilo je to doba velikih raskola na Zapadu i pred Crkvom su bili tri pape konkurenta.
Mogućnost odreknuća od pontifikata spominjala se u slučaju nekolicine papa u 20. stoljeću. Ivan Pavao II. to je izrijekom predvidio u Apostolskoj konstituciji objavljenoj u veljači 1996. Unatoč svojoj dugoj agoniji nije to učinio. Zatim je Joseph Ratzinger takvu mogućnost iznio u knjizi razgovora "Svjetlo svijeta" kada je rekao da papa ima pravo, a ovisno o okolnostima i zadaću povući se ako osjeti da ga izdaju tjelesne, duševne i duhovne snage.
Godine 2009., Benedikt XVI. je srdačno pohvalio uspomenu na Celestina V., spomenuvši se njegova "kratkog i burnog pontifikata".