Svojevrsni temeljni dokument za osnutak Paneuropskog pokreta bio je članak objavljen u listu "Presse", u kojemu se Coudenhove-Kalergi zauzimao za europsko zajedništvo, a prva rečenica članka glasila je: "Europsko pitanje sežeto je u tri riječi: ujedinjenje ili propast".
Godinu dana kasnije, napisao je knjigu "Pan-Europa" s namjerom da se ona objavi na devet jezika. Osim njemačkoga, knjiga je trebala biti tiskana i na engleskom, francuskom, češkom, hrvatskom, španjolskom, mađarskom, latvijskom i grčkom jeziku. Coudenhove-Kalergi je u knjizi opisao ujedinjenje kontinenta u više faza, sve do carinske unije i stvaranja "Sjedinjenih Europskih Država".
Paneuropska unija osnovana je iste godine, 1923., a na prvom paneuropskom kongresu, koji je održan od 3. do 6. listopada 1926., sudjelovalo je 2000 osoba iz 24 naroda.
Iako Paneuropska unija i danas djeluje, a mnoge ideje njezina osnivača ostvarene su u okviru Europske unije, prijašnji tajnik Coudenhove-Kalergija Lacy Milkovics tvrdi kako je začetnik paneuropske ideje u svojoj domovini Austriji gotovo zaboravljen.
"Činjenica da je ideja europskog ujedinjenja nastala u Austriji, danas se uglavnom prešućuje", izjavio je Milkovics. Ipak u petak će se u Beču održati svečanost kojom će se podsjetiti na osnivača Paneuropske unije.
Nakon osnivanja, Coudenhove-Kalergi pridobio je za svoju ideju brojne europske intelektualce i političare, a članovi Paneuropske unije bili su među ostalima njemački kancelar Konrad Adenauer, francuski ministar vanjskih poslova i dobitnik Nobelove nagrade za mir Aristide Briand, francuski predsjednik vlade Edouard Herriot, zatim Albert Einstein i Thomas Mann.
Nakon što se bio raširio po cijeloj Europi, Paneuropski pokret obustavio je svoje djelovanje nakon što su nacionalsocijalisti preuzeli vlast u Njemačkoj. Coudenhove-Kalergi je otišao u izbjeglištvo i većinu vremena Drugog svjetskog rata proveo je u Švicarskoj, Francuskoj i SAD-u.
Ideja je oživljena neposredno nakon svršetka rata, 1947. Coudenhove-Kalergi je osnovao Europsku parlamentarnu uniju, koja se izborila za osnivanje parlamentarne skupštine Vijeća Europe nakon njegova osnutka 1949. godine.
Nakon smrti osnivača 1972., godinu dana kasnije predsjednik Paneuropske unije postao je sin austrijskog cara Otto von Habsburg, koji je na čelu ostao do 2004. Nakon njega, na čelo organizacije došao je Alain Terrenoire, koji ju vodi i danas.