Tu GPU está luchando y tiene problemas para procesar el video. Intenta desactivar la aceleración por hardware en Tarea de conversión → Configuración experta
Preferir codificación por hardware → True
Usar marcas de GPU → NVidia
Si eso soluciona el problema, lo cual es muy probable, entonces el controlador de gráficos es el culpable. Si se actualizó recientemente (lo cual también ocurre automáticamente mediante las actualizaciones de Windows), intenta revertir a una versión anterior más estable.