Tu controlador gráfico de Nvidia está fallando. MCEBuddy primero intenta con ffmpeg y tu controlador falla:
2019-12-10T06:16:03 MCEBuddy.AppWrapper.FFmpeg → [h264_nvenc @ 000002241ac32000] OpenEncodeSessionEx failed: out of memory (10)
2019-12-10T06:16:03 MCEBuddy.AppWrapper.FFmpeg → Last message repeated 1 times
2019-12-10T06:16:03 MCEBuddy.AppWrapper.FFmpeg → [h264_nvenc @ 000002241ac32000] No NVENC capable devices found
Luego intenta con handbrake y el controlador gráfico de Nvidia falla nuevamente:
MCEBuddy.AppWrapper.Handbrake → [h264_nvenc @ 0000000005d708c0] OpenEncodeSessionEx failed: out of memory (10)
2019-12-10T06:16:15 MCEBuddy.AppWrapper.Handbrake → [h264_nvenc @ 0000000005d708c0] OpenEncodeSessionEx failed: out of memory (10)
2019-12-10T06:16:15 MCEBuddy.AppWrapper.Handbrake → [h264_nvenc @ 0000000005d708c0] No NVENC capable devices found
2019-12-10T06:16:15 MCEBuddy.AppWrapper.Handbrake → [06:16:15] encavcodecInit: avcodec_open failed
No utiliza tu hardware Intel porque seleccionaste solo Nvidia en la configuración de tu tarea de conversión (si hubieras seleccionado Any habría recurrido a Intel QuickSync), en su lugar recurre a la codificación por software.
El 99.999% de los problemas con codificadores de hardware se deben a controladores gráficos problemáticos.