Pjesma "We All Go Back to Where We Belong" snimljena je u sprnju kada se nagađalo da indie-rock legende rade na svom 16. albumu, a ispostavilo se da su dovršavale posljednji singl u svojoj zadivljujućoj 30-godišnjoj karijeri.
"We All Go Back to Where We Belong" sjetna je balada s raskošnim aranžmanom u stilu Burta Bacharacha koja priziva eksperimentiranje grupe s easy-listening popom s albuma Reveal iz 2001., ali je ugođaj još više spokojan i opušten.
"Zvuči kao odjavna špica filma sa sretnim završetkom gdje junaci odlaze u zalazak sunca. Kako se pjesma bliži kraju Michael Stipe pjeva 'Is this really what you want?' (Je li to stvarno ono što želite?). Ma koliko bismo mi svi voljeli da odgovor bude "ne", u pjevačevom se glasu može čuti kako je konačno spreman da krene dalje, iako je preplavljen osjećajima", piše Rolling Stone.
Zajedno s još dvije neobjavljene snimke, pjesma će se naći na dvostrukoj kompilaciji "Part Lies, Part Heart, Part Truth, Part Garbage 1982-2011", koja će izaći 15. studenoga. Na tom sveoubuhvatnom retrospektivnom albumu naći će se 40 pjesama među kojima su najveći hitovi kao što su "The One I Love," "Stand," "Losing My Religion," "Man on the Moon" and "Everybody Hurts," kao i koncertni favoriti obožavatelja poput "Life and How to Live It," "Begin the Begin," "Country Feedback" i "Electrolite."