In oude documenten wordt Casteren als Castelre (vgl. Castelré) en Kerk-Casteren genoemd. Omdat hier Romeinse oudheden zijn gevonden wordt aangenomen dat Casteren is afgeleid van "Castra", wat Latijn is voor legerplaats. Er zit echter ook een legende aan de naam vast. Toen Julius Caesar door de Kempen trok, sloegen zijn troepen te Heopurdum, zoals Hapert vroeger heette, aan het muiten. Daar haperde dus de Romeinse opmars. Uiteindelijk koos Julius Caesar er voor om in de buurt zijn leger neer te zetten. Hij maakte een "castra", een legerplaats.