Es una combinación de tu archivo de vídeo (FPS inválido) y tu controlador NVidia que lo está ralentizando. MCEBuddy detectó la codificación por hardware y la habilitó, por lo que la codificación la realiza tu tarjeta de vídeo. Hay algo en los FPS de tu vídeo que no le está sentando bien al controlador gráfico y se está ralentizando durante la conversión.
2018-05-13T23:36:50 MCEBuddy.Transcode.ConvertWithFfmpeg → NVENC H.264 Hardware encoder detected, enabling h264 hardware encoder
Puedes probar a ajustar la configuración de tu perfil para ver qué está causando que el controlador gráfico se ralentice. Los registros están dando una pista, algo relacionado con la tasa de fotogramas del vídeo.
2018-05-13T23:36:50 MCEBuddy.AppWrapper.FFmpeg → [mp4 @ 00000148cf29e7e0] Frame rate very high for a muxer not efficiently supporting it.
2018-05-13T23:36:50 MCEBuddy.AppWrapper.FFmpeg → Please consider specifying a lower framerate, a different muxer or -vsync 2
Podría ser simplemente un error en el controlador gráfico. Sería más fácil actualizar tus controladores gráficos o usar una de las versiones recomendadas por la comunidad.
Si eso no funciona, intenta añadir -vsync 2 al principio de la línea ffmpeg-video= en tu perfil, como recomiendan los registros.