Las actualizaciones de Java en Windows 7 tienen la mala costumbre de dejar en Firefox los plugins de las versiones anteriores de Java Console sin desinstalar -y me imagino que Vista también- y si se seleccionan sólo aparece la opción desactivar y no desinstalar. Para solucionarlo sólo hace falta iniciar Firefox como administrador -haciendo click con el botón de la derecha en el icono y seleccionando la opción- y si vamos a Herramientas -> Complementos -> Plugins y los seleccionamos ya aparecerá la opción desinstalar.
Edito: apunte actualizado aquí