Rechtlich handelt es sich um einen im Handelsregister eingetragenen Verein im Sinne von Art. 60 ff. des Schweizerischen Zivilgesetzbuches und hat seit 1915 seinen Sitz in Lausanne.
Es hält die Schirmherrschaft über die Olympische Bewegung und beansprucht alle Rechte an den Olympischen Symbolen, wie Fahne, Mottos und Hymne, sowie an den Spielen selbst. Seine Hauptverantwortung liegt in der Betreuung und Organisation der Sommer- und Winterspiele.

Der durch seine Studien von der erzieherischen und sozialisierenden Wirkung des Sports überzeugte Pädagoge Baron Pierre de Coubertin sah in der Wiederbelebung der Olympischen Spiele der Antike eine Chance, die Völker und Nationen der Welt einander näher zu bringen, um nationale Egoismen zu überwinden und zum Frieden und zur internationalen Verständigung beizutragen. Die mit zunehmender Technik immer stärkere Internationalisierung der Gesellschaft jener Zeit bekräftigte sein Vorhaben.

Auf dem internationalen Sportkongress vom 16. bis 23. Juni 1894 an der Sorbonne in Paris, der später als der erste Olympische Kongress bezeichnet wurde, beschäftigte sich eine von Coubertin gebildete Kommission mit der Wiederaufnahme der Olympischen Spiele. Am letzten Kongresstag wurde beschlossen, im Jahr 1896 die ersten Olympischen Spiele der Neuzeit in Athen zu veranstalten. Zur Umsetzung und Verbreitung der Beschlüsse sollte ein Comité International Olympique (CIO) gegründet werden. Der 23. Juni 1894 wird deshalb offiziell als Gründungsdatum des Internationalen Olympischen Komitees angesehen.