Ese error proviene del Windows Media Player. MCEBuddy utiliza el complemento del reproductor multimedia nativo para renderizar el video/imagen en pantalla. El reproductor, a su vez, usa los códecs integrados de Media Foundation y DirectShow. Windows no admite de forma nativa el formato MKV ni tampoco HEVC (H.265), por lo que el reproductor no puede renderizarlo.
Necesitarás añadir soporte para H.265/HEVC y MKV a Windows; si WMP puede reproducir los archivos, podrás acceder a ellos desde Custom Cuts. Esto puede requerir ciertos ajustes, como instalar LAVFilters y usar la herramienta de ajuste de códecs para modificar las prioridades de los códecs.