Schwarz je optužen da je opljačkao dvije prostitutke, dok je treću djevojku tjerao na rad u jednom bordelu. Međutim, cijeli slučaj je pao u vodu, jer su dvije djevojke zbog straha odustale od svjedočenja, dok je svjedočenje treće bilo puno kontradiktornih podataka, nakon čega ga je sutkinja Martina Krainz oslobodila. No, olimpijski pobjednik iz 1968. godine ostaje u pritvoru jer optužen i da je sudjelovao u otmici 18-godišnje kćerke bogatog rumunjskog tajkuna.
Schwarz je 2002. godine osuđen na godinu i pol zatvora zbog prevare pet Ruskinja. Međutim, u zatvoru je proveo svega nekoliko mjeseci nakon čega je pušten na slobodu kada mu je ustanovljen rak kože.