「ex-serviceman」は接頭辞「ex」（ラテン語の「ex」＝「〜から外れた・元の」）と「serviceman」（「service」＋「man」から）から成る。

「service」は古フランス語の「service」を経てラテン語の「servitium」（『servire』＝『仕える』）に由来する。「man」は古英語の「mann」に由来する。合成語「serviceman」は近代英語で（特に軍務に従事する）勤務者を指す語として成立し、接頭辞「ex-」が付いて「かつて勤務していた者」を表すようになった。

元々「serviceman」は勤務する人を指したが、次第に軍務従事者を特に指すようになり、「ex-serviceman」は『以前軍に勤務していた人』の意味に発展した。