1904년 올림픽이 미국의 중부도시인 세인트루이스에서 열렸다. 초기의 올림픽의 참가국은 대부분 유럽국가였는데, 미국까지 거리가 멀었던 탓에 그들의 참가열정은 그다지 높지 않았다. 결국 600여명의 참가선수 가운데서 외국인 선수는 100명도 되지 않았다.

올림픽 개막을 앞두고 주최국 미국은 유럽에 선박까지 파견하며 선수들을 영접하려 했으나 결국 빈손으로 돌아왔다. 거리가 멀고 비용이 만만치 않은 데다가 일본과 러시아의 해전사태가 심각해지자 대서양을 건너야 한다는 부담으로 프랑스를 포함한 기타 유럽국가들이 참가를 거부했기 때문이었다. 결국 유럽의 7개 나라에서 총 41명의 선수를 이번 대회에 파견했는데 각각 영국 1명, 독일 17명, 그리스 14명, 노르웨이 2명, 오지리 2명, 헝가리 4명, 스웨덴 1명이었다. 게가다 일부 나라의 참가선수들은 미국에 거주하고 있는 교민이나 유학생들이었다. 이외 쿠바, 캐나다, 오스트랄리아 및 남아프리카에서도 약간의 선수들을 파견했다.

총 625명의 참가선수 가운데 여선수가 8명에 그쳤다. 주최국 미국은 533명으로 구성된 대오를 이번 대회에 출전시켰고 41명을 파견한 캐나다가 미국의 뒤를 이어 2위를 차지했다. 외국선수가 100명도 되지 않았기 때문에 복싱, 레슬링, 양궁, 테니스, 수구 등 경기는 미국선수들의 독점무대였다. 미국 대통령 루스벨트는 이번 대회의 개막식에 참가하지 않았고, 세인트루이스 만국 박람회 주석이 대회의 개막을 선포했다.

쿠베르탱마저 먼곳에서 열리는 올림픽이라 참가하지 않았던 것으로 알려졌다. 이는 국가원수와 국제올림픽위원회 위원장은 반드시 개막식에 참가해야 된다는 국제관례에 어긋난 것으로, 올림픽 사상 전례없던 사건이기도 했다.

기차에 깔려 상실한 왼쪽 다리를 나무다리로 대체해 경기에 출전한 한 미국선수가 6개의 메달을 따내는 등 정채로운 순간들도 적지 않았던 한차례의 올림픽이었다.