Caspar studeerde rechten aan de Rijksuniversiteit Groningen. In 1997 werd hij advocaat en in 2008 stapte hij over naar de rechterlijke macht. Sinds 2015 is Caspar kantonrechter in Amsterdam en sinds 2020 ook raadsheer-plaatsvervanger bij het Hof in Leeuwarden.
Caspar is daarnaast docent bij SSR, het opleidingsinstituut binnen de rechterlijke macht. Ook is hij lid van de redactie van het tijdschrift WR.