Codificación QSV con la última 2.5.1_BETA - HandBrakeCLI-1.0.7 vs 1.1.2 vs 1.2.2

Intenta cambiar tu perfil para usar ffmpeg primero (con la compilación más reciente), observa cómo se comporta.

Handbrake cambió sus bibliotecas a partir de la versión 1.1, por lo que es posible que las nuevas bibliotecas no funcionen tan bien con tu hardware como las anteriores. También es posible que los controladores de tu gráfica no estén funcionando tan bien con las nuevas bibliotecas (prueba a cambiar los controladores); esencialmente, la compatibilidad entre controladores y bibliotecas es lo que determina el rendimiento/estabilidad.

Noté que tu sistema tiene codificadores de hardware tanto de AMD como de Intel:
→ Detected hardware encoder capability →
{
“hardwareBrand”: “Intel”,
“codecType”: “Encoder”,
“hardwareCodecPresent”: true,
“h265Codec”: false,
“h264Codec”: true
}
→ Detected hardware encoder capability →
{
“hardwareBrand”: “AMD”,
“codecType”: “Encoder”,
“hardwareCodecPresent”: true,
“h265Codec”: true,
“h264Codec”: true
}

Parece que tu codificador AMD puede ser más potente que el de Intel; con la compilación más reciente puedes seleccionar el codificador que prefieras, prueba a configurarlo en AMD en la página Conversion Task → Expert Settings.