Při diskusi o otázce konání III. Olympiády se Mezinárodní olympijský výbor rozhodl uspořádat ji na území Spojených států, protože tato země vykázala dobré výsledky na dvou předchozích hrách. Zpočátku chtěli uspořádat olympiádu v Chicagu nebo New Yorku, ale výsledek padl na malé přístavní město St. Louis.
III. Olympiáda v St. Louis spolu s olympiádou v Paříži se konala v rámci světové výstavy. Místní vedení výstavy to však nepovažovalo za konkurenta, ale naopak se všemi možnými způsoby pokoušelo hry využívat pro vlastní reklamní účely. Organizátoři navíc zopakovali některé chyby letních olympijských her v Paříži v roce 1900. Kvůli připoutanosti ke světové výstavě byly soutěže odsunuty do pozadí a samotná olympiáda trvala téměř 5 měsíců (1. července - 23. listopadu 1904). Mnoho soutěží se konalo pod vedením různých profesních organizací, přesto jim však byl udělen titul olympijských disciplín.
Podle MOV se letních her v St. Louis zúčastnilo 12 zemí. Jediným státem, který se soutěže zúčastnil poprvé, byla Jižní Afrika. Ve srovnání s olympiádou v Paříži dramaticky poklesl počet zúčastněných zemí. Třináct států, které se účastnily letních pařížských her, nemohly z ekonomických důvodů přijít do St. Louis. Soutěže se nezúčastnilo Rusko, které v té době vedlo válku s Japonskem.
III. Letních olympijských her se zúčastnilo celkem 651 lidí, z toho 6 žen. Soutěžili o 94 sad ocenění v 18 sportech. Nejpočetnější byl tým Spojených států amerických, kteří na hrách představovali 533 lidí. V mnoha sportech (box, zápas, vodní pólo, lukostřelba a tenis) vystupovali pouze američtí sportovci, takže hry jasně prokázaly převahu země.
V St. Louis poprvé začali oceňovat tři, ne dva, sportovce, kteří předvedli nejlepší výsledek. Hlavní vítěz soutěže získal zlatou medaili; sportovec, který obsadil druhé místo - stříbro; a třetí místo získalo bronzovou medaili. Tato tradice přetrvala dodnes.
Na neoficiální soutěži týmů byly zúčastněné země umístěny následovně: I místo - USA (78 zlatých, 82 stříbrných, 78 bronzových medailí), II. Místo - Německo (4 zlaté, 4 stříbrné, 5 bronzových medailí), III. Místo - Kuba (4 zlaté, 2 stříbrné, 3 bronzové medaile).
