Podrías probar cambiar el perfil para que ffmpeg esté primero. Cuando trabajaba con mis perfiles durante la beta 0.8, no conseguía que HandBrake hiciera aceleración por hardware de forma significativa. Para que te sirva de referencia, tengo el mismo CPU y RAM y estoy usando una NVidia GTX 1060: consigo codificaciones H265 (HEVC) de unos 20 minutos por cada hora de programación en HD.
Para cambiar el orden de los motores de codificación, entra en la carpeta de configuración y abre profiles.config. Busca esta línea en el perfil MP4 Normal:
order=handbrake,ffmpeg,mencoder
Cámbiala para que ffmpeg esté primero.
¡Suerte! Will.