Er bestaat enige onzekerheid over de oorsprong van de typische kenmerken ervan. De caduceus had aanvankelijk wellicht de vorm van een olijftak of -twijg met twee of drie bladeren. In de loop der tijd verschenen aan het uiteinde een cirkel en een maansikkel, die op den duur misschien de vorm aannamen van verstrengelde slangen.
Het is ook mogelijk dat de slang aanvankelijk als symbool van genezing deel is gaan uitmaken van de caduceus. Meestal heeft hij twee vleugeltjes aan de bovenkant. Volgens de mythe wierp Hermes zijn staf naar twee op de grond vechtende slangen, die er toen aan vast kleefden.