Tus registros muestran que MCEBuddy está detectando tu codificador nvenc, sin embargo ffmpeg no puede usarlo:
2019-12-30T21:56:20 MCEBuddy.AppWrapper.FFmpeg → [h264_nvenc @ 00000000028e5d40] No NVENC capable devices found
Sin embargo, handbrake puede usarlo con una velocidad de conversión decente de unos 98fps.
Parece que tu controlador de gráficos puede haber cambiado y está causando problemas a ffmpeg. Intenta cambiar tu controlador a una versión más estable o revertirlo.
En cuanto a la utilización de la GPU, consulta este tema para más detalles.