NVidia limita sus controladores gráficos a solo 2 transcodificaciones simultáneas para la mayoría de las tarjetas gráficas que no sean Quadro; es un límite artificial impuesto por NVidia en sus drivers, por lo que la tercera conversión simultánea falla cuando el controlador intenta iniciarla. La solución es contactar con Nvidia o no limitar las conversiones únicamente a NVidia (establécelo en Any).
Algunas tarjetas Quadro permiten transcodificaciones simultáneas ilimitadas (sin restricciones). Aquí tienes la tabla que muestra los límites para diferentes tarjetas:
Aquí hay un hilo de discusión al respecto:
https://www.reddit.com/r/PleX/comments/a1s2wu/gtx750_for_transcoding/
Aquí hay dos enlaces más que discuten cómo parchear los límites:
Más información:
https://www.reddit.com/r/PleX/comments/9forj0/unlimited_gtx_980_transcodes_encoding_only_due_to/