Merkel je vodio bečki Rapid, TSV 1860 Munchen, Nurnberg, Atletico Madrid, Borussiu Dortmund, Schalke, Karlsruher i Zurich, a bio je poznat po svom strogom gotovo spartanskom režimu treninga. Na klupi Rapida je osvojio prvenstvo 1957. godine, a potom je isto ponovio i na klupi Munchena (1965), Nurnberga (1968) i Atletica (1973). U riznici trofeja ima i dva Kupa (Munchen, Atletico).
Nakon prekida trenerske karijere Merkel je bio kolumnist Bilda.