Osnovan 1945. radi rješavanja sporova između država i izricanja savjetodavnih mišljenja u pitanjima međunarodnog prava, sud je u dosadašnjem radu izrekao 115 presuda i dao 30-ak mišljenja.
ICJ je zamijenio Stalni sud za međunarodnu pravdu (PCIJ) koji je u Haagu djelovao od 1922. pod okriljem tadašnje Lige naroda. Sjedište mu je ostalo u Haagu, u Palači mira, u kojoj se smjestio 1946.
Prvi suci ICJ-a izabrani su 6. veljače 1946. na prvom zasjedanju opće skupštine UN-a i Vijeća sigurnosti.
U travnju 1946. ICJ-ev prethodnik PCIJ formalno je raspušten a novi je počeo raditi i za svoga prvog predsjednika izabrao je Joséa Gustava Guerrera iz Salvadora, posljednjeg predsjednika PCIJ-a.
Sud čini 15 sudaca s devetgodišnjim mandatom koje biraju Opća skupština i Vijeće sigurnosti UN-a. Predsjednik je slovački sudac Peter Tomka koji je izabran 2012. na mandat od tri godine.
Strane u postupku mogu biti jedino države, ne pojedinici ili organizacije, presude suda su obvezujuće i na njih nije moguće uložiti žalbu, a službeni jezici su engleski i francuski.
Članice UN-a pred sud izlaze s različitim pitanjima pa suci tako trenutno razmatraju tužbu za pomorsko razgraničenje Nikaragve i Kolumbije, tužbu istočnog Timora protiv Australije zbog zapljene dokumenata službenih predstavnika Istočnog Timora u Canberri koji se tiču sporova dviju države, Bolivije protiv Čilea zbog ometanja pristupa otvorenom moru.
I zemlje regije posezale su za ICJ-om u sporovima s drugim državama. Osim tužbi za genocid koje su protiv službenog Beograda podnijele prvo BiH pa potom i Hrvatska, pravdu je potražila i nekadašnja SR Jugoslavija zatraživši 1999. poduzimanje "privremenih zaštitnih mjera" kojima bi se članicama NATO-a naložila obustava zračnih napada na tu zemlju. Srbija je tada optužila 10 članica NATO-a - Belgiju, Kanadu, Francusku, Njemačku, Italiju, Nizozemsku, Portugal, Španjolsku, Veliku Britaniju i SAD, no ti su zahtjevi odbačeni nakon što se sud proglasio nenadležnim.
Srbija se ICJ-u obratila i 2008. zatraživši savjetodavno mišljenje o legalnosti proglašenja neovisnosti Kosova, a sud je dvije godine kasnije objavio kako kosovska neovisnost nije kršenje međunarodnog prava.
Makedonija je 2008. tužila Grčku za blokadu njezina puta u NATO zbog spora oko imena države, a sud je 2011. utvrdio da Grčka nije pod tim uvjetom smjela zaustaviti ulaz Makedonije u NATO jer je time prekršila obveze iz bilateralnog sporazuma Atene i Skoplja kojim se uređuje da se Grčka neće protiviti članstvu Makedonije u bilo kojoj međunarodnoj organizaciji pod uvjetom da ona zahtjev podnese pod nazivom Bivša Jugoslavenska Republika Makedonija. Ime Makedonije u središtu je spora dviju zemalja od 1991. kad je Makedonija proglasila neovisnost pod ustavnim imenom, istovjetnim nazivu sjeverne grčke pokrajine.
Pred sud su u 1990-im izašle i Slovačka i Mađarska nakon što je Bratislava optužila Budimpeštu da je jednostranim povlačenjem iz projekta gradnje sustava hidroelektrana lišila Europu nužnog poboljšanja plovidbe na Dunavu, a Slovačku izvora energije i sustava kontrole vodostaja te rijeke.
Pred sudom se našao i izraelski zaštitni zid na Zapadnoj obali koji je 2004. proglašen nezakonitim jer krši međunarodno pravo i ne uvažava interese Palestinaca. Tadašnji premijer Ariel Sharon odbacio je presudu ICJ-a, a za nekoliko bombaških napada koji su slijedili rekao da su izvedeni "pod pokroviteljstvom te odluke" te je naredio nastavak gradnje.
Među predmetima koji su privukli veliki interes javnosti bilo je pitanje uživa li Njemačka imunitet u slučajevima protiv nacista. ICJ je 2012. objavio kako zemlja uživa pravni imunitet od sudskih progona na stranim sudovima koje pokreću žrtve nacističkih zločina iz Drugoga svjetskog rata. Sud je ocijenio da je talijanski vrhovni sud prekršio njemačku suverenost 2008. kada je presudio da talijanski državljanin Luigi Ferrini ima pravo na odštetu zbog deportacije u Njemačku 1944., gdje je prisilno radio u vojnoj industriji. Njemačka je tvrdila kako talijanska presuda dovodi u pitanje sustav restitucije ustanovljen nakon poraza nacista i u sklopu kojeg je Njemačka od 50-ih godina prošlog stoljeća isplatila nekoliko desetaka milijardi dolara odštete.
Prije gotovo tri godine sud se bavio i zahtjevom za otvaranjem istrage o odgovornosti pape Benedikta XVI. i drugih dužnosnika Svete Stolice za prikrivanje pedofilije u Crkvi, no proglasio se nenadležnim.
Zadnji predmet o kojem je sud donio pravorijek bila je tužba Perua protiv Čilea kada je u siječnju prošle godine utvrđeno da Čileu pripada 38 tisuća četvornih kilometara mora. Time je riješen povijesni pomorski teritorijalni spor naslijeđen iz Pacifičkog rata s kraja 19. stoljeća. U tome ratu od 1879. do 1883. pobijedio je Čile, Peru je izgubio četvrtinu tadašnjeg teritorija, a njegova saveznica Bolivija izlaz na more.