Haller je u dresu njemačke vrste odigrao 33 utakmice, te postigao 13 pogodaka. Na SP-u 1996. godine u Engleskoj postigao je dva pogotka u polufinalu protiv Urugvaja, te prvi u finalu protiv domaćina. Međutim, naslov svjetskog prvaka pripao je Englezima koji su slavili 4:2. Nastupio je i na SP-u 1962. godine, te 1970. godine.
Tijekom igračke karijere igrao je za Augsburg, a potom i za Bolognu i Juventus. Haller je bio prvi njemački nogometaš koji je igrao u nekom inozemnom klubu.