U vladi Janeza Janše formiranoj 2004. godine Bajuk je bio ministar financija. Aktivnu politiku napustio je 2008. godine nakon izbora na kojima je prevagu opet dobila ljevica, a Bajukova kršćansko-pučka stranka Nova Slovenija, kojoj je predsjedavao, ostala bez ijednog mjesta u parlamentu.
Bajuk se rodio u Ljubljani 1943. godine, ali su njegovi roditelji prije uspostave komunističke vlasti emigrirali, najprije u južnu Austriju, a onda u Argentinu. Tamo se, u gradu Mendozi, Bajuk školovao i diplomirao ekonomiju.
Doktorirao je u SAD-u, gdje je od 1976. radio u Svjetskoj banci u Washingtonu, a kasnije za Interameričku banku (IDB) u njenom europskom predstavništvu u Parizu. U slovenskoj politici angažirao se sredinom devedesetih godina prošlog stoljeća. Revija "The Banker" proglasila je Bajuka 2005. europskim ministrom financija godine, u vrijeme kad se Slovenija pripremala za preuzimanje eura.