Kako nema pouzdanih izvora o nastanku igara literatura bilježi legende. Jedna od njih kaže da je Herkules, sin Zeusa i Here, u igri s braćom priređivao natjecanja, a pobjedniku na glavu stavljao maslinovu grančicu. No, povod za utemeljenje igara je obilježavanje ubojstva kralja Augija. Herkules je, naime, ubio kralja koji mu je odbio platiti za čišćenje smrdljivih štala.
Druga legenda kaže da je kralj Elide Oinomaos, sin boga rata Aresa, uživao u konjskim trkama sa zapregom i da je protivnike nakon pobjede ubio. Boljemu od sebe obećao je kraljevstvo i svoju kćerku Hipodamiju. Kralj je sve do pojave prosca Pelopa, Tantalova sina, ubio trinaest prosaca (zbog toga se broj trinaest smatra nesretanim). Pelop se, kako legenda kaže, poslužio lukavstvom i kočijašu Mirtilosu obećao pola kraljevstva ako izvadi vijak iz kotača kraljeve kočije. Zahvaljujući toj prijevari, u legendi nazvanoj lukavstvom, Pelop je usmrtio kralja, oženio se Hipodamijom i zasjeo na prijestolje. Kad je Mirtilos došao po obećanu nagradu, Pelop ga je zbog nečasna djela bacio sa stijene u more pa je po njegovu imenu cijelo područje dobilo ime Peloponez. Pelop je u čast kralja Oinomaosa koji je volio natjecanja utemeljio olimpijske igre i postavio stup srama za sve koji nečasnim postupcima u natjecanju žele doći do pobjede.
Starodrevne olimpijske igre trajale su od godine 776. prije Krista do godine 392. U gotovo 1200 godina priređeno je oko 290 olimpijskih igara u društvu u kojem je tjelovježba bila jedan od temelja odgoja i obrazovanja. Olimpija nikad nije postala veće naselje jer je ulaz bio dopušten samo natjecateljima, sucima, umjetnicima i predstavnicima nekih država. Ženama je pristup bio zabranjen jer su natjecatelji bili goli. Za vrijeme olimpijskih igara cvjetala je trgovina, umjetnici su prikazivali ili čitali svoja djela, filozofi su tumačili svoje poglede na život i svijet u njemu, dok su političari sklapali saveze, a trgovci ugovore.
Ostaci Olimpije nakon potresa i razaranja za rimskoga cara Teodozija I., otkriveni arheološkim istraživanjima u 19. stoljeću, potaknuli su organizaciju olimpijskih igara modernog doba. Starodrevna Olimpija postaje privlačnom mnogobrojnim turistima i prijateljima sporta diljem svijeta.