Tienes una configuración realmente interesante, cuentas con ambas aceleraciones por hardware CUDA (NVIDIA) y QuickSync (Intel). Sin embargo, parece que los controladores de Intel están fallando y hacen que HandBrake se cuelgue al intentar usar la aceleración por hardware.
2018-02-06T07:51:46 MCEBuddy.AppWrapper.Handbrake → [07:51:46] qsv_enc_init: using ‘hardware (2)’ implementation, API: 1.25
2018-02-06T07:51:47 MCEBuddy.AppWrapper.Handbrake → Error code -17, hb_qsv_wait_on_sync 602
2018-02-06T07:51:47 MCEBuddy.AppWrapper.Handbrake → ERROR: encqsv: MFXVideoENCODE_EncodeFrameAsync failed (-17)
Por eso MCEBuddy vuelve a la codificación por software con HandBrake sin intentar usar la aceleración por hardware de NVIDIA a través de FFmpeg (agregaremos esa optimización en el futuro para probar distintos codificadores por hardware antes de pasar a software, principalmente porque es muy poco común tener sistemas con ambos tipos de hardware).
La solución, como señaló @Will_Tschumy, es cambiar el orden en tu perfil a FFmpeg; eso debería hacer que use primero la tarjeta NVIDIA para codificación por hardware y, si no hay problemas con el controlador, será significativamente más rápida.
Como nota adicional, es posible que tu tarjeta Intel no esté correctamente inicializada y que tu tarjeta NVIDIA sea la tarjeta principal de monitor/pantalla, lo cual probablemente es la razón por la que HandBrake no puede inicializarla. Si prefieres la codificación por hardware de Intel en lugar de NVIDIA, puedes probar el truco del monitor falso para activar tu tarjeta Intel.