El verbo to peeve significa principalmente molestar/irritar , con fuerte toques de enfadar/enojar (especialmente cuando se usa como participio: to be peeved --> quedar enfadado por algo que te molesta). Pero un pet-peeve es algo muy personal (por eso lo de pet, algo que te pertenece a ti) y no suele molestar a otros, o por lo menos no les molesta al punto de enojo.
Mencionas manía que no me parece completamente mal:
manía
1. f. Preocupación caprichosa y a veces extravagante por un tema o cosa determinados. || 2. f. Afición exagerada por alguien o algo. […] || 3. f. coloq. ojeriza […]
Lo que pasa es que manía no indica, por sí solo, una aversión maniaca (otra palabra que mencionas) y puede ser una afición, como indica la 2.ª acepción. No obstante, como nos indica la 3.ª acepción, puede implicar enojo —aunque es cierto que algo ojeriza suele ser hacia una persona y un pet-peeve suele ser hacia una acción—.
Pensando en los verbos que ya mencioné que caben en el significado de to peeve, lo que más me llega a la menta es fastidiar, que parece englobar estos conceptos bastante bien:
fastidiar
1. tr. Enfadar, disgustar o ser molesto a alguien. || 2. tr. coloq. Ocasionar daño material o moral. || 3. tr. desus. Causar asco o hastío. Era u. t. c. prnl. […]
Entonces, lo que necesitaríamos es algo que nos fastidie (personalmente), y desafortunadamente, aunque fastidio existe, es el sentimiento causado, y no lo que fastidia.
De ahí, buscando en un diccionario de sinónimos, para ver si podría encontrar una palabra sinónima que tenga un sustantivo que signifique la acción que X (en vez del sentimiento provocado de X), encontré algunos que parecen encajar más o menos bien con la idea:
joroba1
1. f. Giba, corcova, chepa. || 3. f. coloq. Impertinencia y molestia enfadosa.
joroba2
1. interj. eufem. coloq. U. para expresar irritación, enfado, asombro, etc.
hastío
1. m. Repugnancia a la comida. || 2. m. disgusto (‖ fastidio).
desazonar
2. tr. Disgustar, enfadar, desabrir el ánimo. U. t. c. prnl.
jeringar
3. tr. coloq. Molestar o enfadar. U. t. c. prnl.
De todas estas, los que más me parecen tener algo que ver con un pet-peeve o el verbo to peeve son jeringar y joroba. Los significados de joroba me parecen más coincidentes, pero (que sepa yo) no hay una palabra establecida para indicar algo que jorobe. Una jorobadura es la acción en sí, jorobeta es el resultado de ser jorobado, y joroba es el sentimiento de estar jorobeta/jorobado. En tal caso, quizás se le podría aplicar un sufijo agente como -dor/-nte pero no creo que goce de gran uso en esta forma.
Con jeringar, es posible que, por la acepción de jeringa se podría usar tal cual, aunque normalmente parece referir al sentimiento (~joroba), pero sí está registrado jeringador/a que se puede usar como sustantivo.
En todo caso, llamarlo un jeringador o jorobador tampoco creo que capture bien el efecto (si bien captura la idea). Quizás mejor sería llamarlo un fastídiame pero tal vez puedas pensar en otra forma que ya existe para indicar tal tipo de cosa.