Pogrebu je uz članove obitelji i prijatelje, te stranačke kolege iz kršćansko-pučke stranke Nova Slovenija (NSI) koju je Bajuk vodio do 2008. godine, kad se nakon njena neuspjeha na izborima povukao iz političkog života, prisustan bio i cijeli državni vrh. Premijer Borut Pahor izjavio je u oproštajnom govoru da je Bajuk bio "velik čovjek velikog duha", dok su lideri stranaka desnog centra u komemoratinim govorim a istakli da je bio domoljub i financijski stručnjak koji je za Sloveniju mnogo napravio.
Zbog velike vrućine tijekom pogreba onesvijestilo se nekoliko ljudi, među njima i gardist počasne čete slovenske vojske koja je sudjelovala u pogrebnoj svečanosti, objavili su mediji.
Bajuk je umro iznenada u Ljubljani u 68. godini života u noći s ponedjeljka na utorak od srčane kapi. Privremenu slovensku vladu nastalu nakon što je ljevica izgubila parlamentarnu većinu vodio je od sredine do kraja 2000. godine, a u vladi premijera Janeza Janše koja je bila na vlasti od 2004. do 2008. godine bio je ministar financija.
Većinu svog života Bajuk je proveo u inozemstvu, kao dijete roditelja koje su iz Slovenije 1945. godine emigrirali u Argentinu, gdje se školovao. U slovensku politiku ušao je tek sredinom 90-ih godina prošlog stoljeća. Prije toga bio je zaposlenik odjela Interameričke razvojne banke u Parizu.