Serpēns (con ē larga) y serpentis son dos formas (caso nominativo y caso genitivo respectivamente) de la misma palabra latina, que es un sustantivo derivado del participio presente activo del verbo serpĕre.
En latín los casos estaban marcados por sufijos que el cambio fonético fue erosionando, de manera que primero se perdió la distinción entre el nominativo y los casos oblicuos (todos los otros), y luego también ésta. Con muchas palabras latinas esto implicaría llegar a formas idénticas en todos los casos, puesto que al quitarles los sufijos y perderse la distinción entre vocales cortas y largas, la forma de la raíz que queda termina siendo la misma en nominativo, acusativo, etc.
No es el caso de serpēns, cuyo paradigma tiene una sola forma de dos sílabas con acento tónico en la primera (precisamente el nom. sing. serpēns) y el resto con formas trisilábicas con acento en la segunda (serpentem, serpentis, etc.).
Por otro lado, en castellano, como en la mayoría de las otras lenguas romances, los sustantivos no derivan del caso nominativo del latín, sino del acusativo (o del caso oblicuo producto de la fusión del acusativo con los otros exceptuando el nominativo, que se cree que existió en romance, aunque no está documentado). Esto tiene cierto sentido por lo siguiente: la mayor parte de los sustantivos de uso común designan objetos, plantas, animales, etc. que en el habla habitual tienen más chances de aparecer como objetos directos o indirectos verbales, o como objetos de preposiciones, que como sujetos.
Como dije más arriba, sin embargo, en general no habría diferencia al final si se tomase un caso u otro. Pero en la tercera declinación el nominativo singular tiende a ser "rebelde"; es más corto y se acentúa diferente. Estas formas anómalas, incluso no mediando lo dicho anteriormente sobre los casos más frecuentes, son sustituidas por analogía con el resto del paradigma.
Serpēns es justamente de la tercera declinación.
Y aquí ya entra una hipótesis propia mía, porque no sé cuándo comenzó a usarse más serpiente que sierpe, pero se me ocurre que fueron adquiridas por el romance o el castellano antiguo en momentos diferentes. Ninguna de las dos es fonéticamente anómala, como ocurriría con un cultismo (sierpe muestra la diptongación y la erosión de las consonantes finales que se espera de cualquier palabra latina que haya pasado por los procesos regulares), pero sierpe es anómala por descender de un nominativo latino. Evidentemente, para cuando fueron aceptadas por el idioma, no fueron tomadas como formas de un mismo paradigma, y sus significados debieron diferenciarse. La palabra más común y regular, serpiente, quedó como la más general, y sierpe se especializó. Por qué, cuándo y cómo ocurrió esto, no lo sé.
