Au début des années quatre-vingt, l'augmentation régulière du contentieux international en matière sportive ainsi que l'absence de toute autorité indépendante, spécialisée dans les problèmes liés au sport et habilitée à rendre des décisions contraignantes, ont incité les plus hautes instances du sport à se pencher sur la question de la résolution des litiges sportifs.
En 1981, soit peu après son élection à la présidence du CIO, S.E. M. Juan Antonio Samaranch a émis l'idée d'instituer une juridiction spécifique au sport. L'année suivante, lors de la Session du CIO tenue à Rome, S.E. le Juge Kéba Mbaye, membre du CIO, alors Juge à la Cour Internationale de Justice à La Haye, a pris la direction d'un groupe de travail chargé de préparer les statuts de ce qui allait devenir très rapidement le “Tribunal Arbitral du Sport”.
L'idée de créer une juridiction arbitrale vouée à la résolution des litiges relatifs au sport était donc définitivement lancée. La mise sur pied d'une telle institution arbitrale était notamment motivée par le besoin de créer une autorité spécialisée, capable de trancher des litiges internationaux et offrant une procédure souple, rapide et peu onéreuse.
Les premières lignes directrices du concept prévoyaient que la procédure d'arbitrage devait inclure une tentative de conciliation préalable. Par ailleurs, il était prévu que le CIO supporte l'ensemble des frais et des dépenses occasionnés par le fonctionnement du tribunal. Dès le départ, il était établi que la juridiction du TAS ne devait aucunement être imposée aux athlètes ou aux fédérations, mais rester à la libre disposition des parties.
En 1983, le CIO a officiellement entériné les statuts du TAS qui sont entrés en vigueur le 30 juin 1984. Le Tribunal Arbitral du Sport est devenu opérationnel dès cette date, sous la direction du Président Mbaye et de Me Gilbert Schwaar, Secrétaire général.