Como bien has notado, "habida" es una forma adjetivada del verbo haber, aunque no desempeña precisamente el rol que indicas, sino que complementa el sustantivo "cuenta", y pues esta palabra es de género femenino, es lógico que "habida" también se decline así.
En cuanto a su significado, pese a que el uso más conocido de "cuenta" es el que demuestra la frase "darse cuenta de algo", se usa también con otros verbos, y va con la preposición "de" porque representa la cuenta (que este caso quiere decir algo como "la consciencia") que corresponda a algo.
El español a veces usa el participio pretérito, o hasta lo requiere, en los mismos contextos en los que el inglés optaría por el gerundio. Por lo tanto, este uso no se debe percibir como una frase hecha sino como una conjugación habitual que específicamente se aplica al verbo "haber".
Por eso se pueden generar otros ejemplos en los que haber se sustituye por otro verbo:
Pasados unos años, en 1884, Newlands reúne todos sus artículos relativos a la clasificación de los elementos en un solo libro....
O igualmente:
Terminada la fiesta, emprendieron el viaje de regreso, pero el niño Jesús se había quedado en Jerusalén, sin que sus padres se dieran cuenta.
