Special Olympics fue fundada por Eunice Kennedy Shriver, hermana del entonces presidente John F. Kennedy, en 1962. Su hermana, Rosemary Kennedy, que sufría una discapacidad psíquica agravada por una lobotomía, es a menudo citada como la inspiradora de la creación de Special Olympics.

Special Olympics organizó principalmente, originalmente, desde junio de 1962, una serie de campamentos deportivos llamados Camp Shriver. Estos campamentos evolucionaron hasta una competición deportiva internacional para con minusvalías psíquicas. Las primeras Olimpiadas Especiales Internacionales de Verano fueron celebradas en Chicago (Illinois, Estados Unidos) en 1968. Las primeras Olimpiadas Especiales de Invierno se celebraron en febrero de 1977 en Steamboat Springs (Colorado, Estados Unidos).

En 1988 Special Olympics fue reconocida por el Comité Olímpico Internacional (COI), siendo así la única organización deportiva autorizada por el COI a usar la palabra «olímpico» en su nombre. En junio de 2006 se celebraron los primeros Juegos Olímpicos Especiales Nacionales estadounidenses en la Universidad Estatal de Iowa, en el que participaron equipos de todos los 50 estados además del Distrito de Columbia.

En julio de 1968, por primera vez en un lugar público, se invitó a personas con discapacidad intelectual a practicar deportes competitivos. Y, el mundo fue testigo de la dedicación, la dignidad y el valor de un segmento de la sociedad que entonces se consideraba incapaz de lograr algo, con la mayoría encerrados en instituciones y vergonzosamente descuidados.