Der in Studentenreiterkreisen als „CP” bekannte Gutt war von 1985 bis 1990 als Disziplinchef Reiten im Allgemeinen Deutschen Hochschulsport (adh) für das Reiten zuständig. Im Rahmen seiner Arbeit gestaltete er die Gründung eines internationalen Studentenreiterverbandes, des AIEC aktiv mit und war von 1988 bis 1992 Vorstandsmitglied. Von 2009 bis 2015 war der Diplom-Mathematiker Vorsitzender des DAR und unterstützte danach die Vorstandsarbeit als Beisitzer weiter. 2019 stellte er sich nicht mehr zur Wahl und wurde zum Ehrenmitglied ernannt.

Caus-Peter Gutt setzte sich aber nicht nur für die Studentenreiter ein, sondern war und ist auch beratend für die Deutsche Reiterliche Vereinigung (FN) tätig. Unter anderem fungierte er als Mediator, begleitete die Einführung technischer Systeme und engagierte sich im Beirat des Projektes „Turniersport 2024”.