[FOUT] MINDER: Media met verschillende coderingen voor shownaam (apostrof = â€tm (aEtm))

General Support / Questions Metagegevens en hernoemen
1

Ik neem een programma op dat een apostroef in de titel heeft, zowel op mijn HDHR als op mijn Tivo.
Ik gebruik KMTTG om bestanden in TS-vorm van de Tivo over te zetten en ze te transcoderen naar ruwe MP4 (zonder compressie, alleen omdat ik niet achterhaald krijg hoe ik dat over moet slaan zodat MCEBuddy het ruwe TS-bestand zelf kan verwerken). Ik gebruik KMTTG omdat ik maar enkele programma’s van de Tivo wil verwerken.

Wat ik uiteindeld krijg zijn twee mappen met bestanden van hetzelfde programma:
Christopher Kimballâ€tms Milk Street Television
en ook
Christopher Kimball’s Milk Street Television
Ik denk dat de Tivo-bestanden in de map met de verkeerde titel belanden.

Op het bestandssysteem is het nog vreemder: ik krijg DRIE mappen:

  1. Christopher Kimball’s Milk Street Television (correcte apostroef – waarschijnlijk van HDHR)
  2. Christopher Kimball’s Milk Street Television (verkeerd geïnterpreteerde UTF-8 – Tivo-bron, uit interne metadata)
  3. Christopher Kimballs Milk Street Television (apostroef volledig verwijderd – eveneens van Tivo, maar de door KMTTG getranscodeerde MP4-versie; KMTTG behoudt blijkbaar de interne metadata niet).

Er zou zelfs andere gidsdata voor de programmanaam kunnen zijn, afhankelijk van op welk kanaal het is opgenomen, of als de speciale naam-correctieregels die ik heb ingesteld TVDB-info forceren voor sommige opnames en dat de apostroef weghaalt.

Ik vond een PHP-artikel dat mogelijk een oplossing biedt:

en dat gebruikt “iconv(“UTF-8”, “CP1252”, $data)”.
Het probleem lijkt te zijn dat mijn bestandssysteem (Windows) Windows Code Page 1252 gebruikt (voldoende gelijk aan ISO-1252 om praktisch uitwisselbaar te zijn).

Ik vermoed dat de Tivo bestandsnamen (of programmanamen in de metadata) in UTF-8 opslaat, waardoor de “smart quote”-apostroef op verschillende manieren wordt vertaald tussen de twee bronnen van mediabestanden.

2

Meer info - het vreemde ’ verschijnt in de shownaam die wordt gebruikt in de bestandsnaam, de metadatabeschrijving en de interne metadata voor “Showname”.
Ik zal het logbestand en het mediabestand opsporen voor upload als je de flow door MCEBuddy wilt zien.

Ik heb het ook beperkt tot deze bestanden die van de Tivo komen, na extractie door KMTTG.

3

Ik heb de bron kunnen herleiden tot de bestanden die door KMTTG zijn uitgepakt, maar er lijken extra problemen op te treden wanneer MCEBuddy ze verwerkt.
KMTTG haalt het ruwe .TS-bestand uit en transcodedt het (rauw) naar een .MP4-bestand. Er staan dus twee bestanden in de uitvoer-“Tivo”-map die door MCEBuddy in mijn Tivo-profiel wordt gemonitord.
Hieronder een fragment van het logboek voor het .MP4-bestand. Merk op dat KMTTG het apostrof volledig uit de programmanaam heeft verwijderd, waardoor de verdere verwerking door MCEBuddy naar een MKV verklaard wordt.

Er lijkt echter een probleem te zijn in de uitzonderingsverwerking (uit het MP4-logboek):

INFORMATION> --> Task -> MKV-TV-HD
Profile -> HEVC MKV
Source File -> F:\Recorded TV\Tivo\Christopher Kimballs Milk Street Television-S03E06-Chicken Around the World-2019-10-11.mpg

Geen apostrof in “Kimball’s” – door KMTTG verwijderd voordat MCEBuddy het ziet.
Hieronder het gedeelte waarvan ik denk dat de bestandsnaam/metadata niet werkt zoals verwacht.

Download Series Details -> True
Download Banner -> True
Overwrite metata from Title -> False
Overwrite metata from Internet -> Default
Metadata Correction => Option 0
[...]
Original Title -> Christopher Kimball*
Corrected Title ->
TVDB Series Id -> 334523
IMDB Series Id ->

Let op: de wildcard is geplaatst om te negeren of het apostrof er nu wel of niet staat (of gebruik ik de regex verkeerd?). Hetzelfde probleem ervaar ik met “America’s Test Kitchen”, om dezelfde redenen.

Hieronder het logboekgedeelte waaruit blijkt dat de TVDB-info niet wordt gebruikt (de overschrijving dus niet werkt zoals verwacht):

INFORMATION> 2019-10-19T16:33:37 MCEBuddy.Engine.ConversionJob --> Current System language is English (United States) (eng)
INFORMATION> 2019-10-19T16:33:37 MCEBuddy.Engine.ConversionJob --> Converting file -> F:\Recorded TV\Tivo\Christopher Kimballs Milk Street Television-S03E06-Chicken Around the World-2019-10-11.mpg
INFORMATION> 2019-10-19T16:33:40 MCEBuddy.Engine.ConversionJob --> Running custom commands
INFORMATION> 2019-10-19T16:33:40 MCEBuddy.Transcode.CustomCommand --> No custom commands found
INFORMATION> 2019-10-19T16:33:40 MCEBuddy.Engine.ConversionJob --> Getting show information and banner from Internet sources
INFORMATION> 2019-10-19T16:33:40 MCEBuddy.MetaData.VideoMetaData --> Extracting Generic Tags
INFORMATION> 2019-10-19T16:33:40 MCEBuddy.MetaData.VideoMetaData --> Downloading Series details
INFORMATION> 2019-10-19T16:33:40 MCEBuddy.MetaData.VideoMetaData --> Recording Type Show
INFORMATION> 2019-10-19T16:33:40 MCEBuddy.MetaData.VideoMetaData --> Checking TheTVDB
WARNING> 2019-10-19T16:33:54 MCEBuddy.MetaData.VideoMetaData --> TheTVDB failed
INFORMATION> 2019-10-19T16:33:54 MCEBuddy.Engine.ConversionJob --> Checking for destination file skip reprocessing
WARNING> --> Cannot find AirYear
WARNING> --> Cannot find AirMonth
WARNING> --> Cannot find AirDay
INFORMATION> 2019-10-19T16:33:54 MCEBuddy.Engine.ConversionJob --> Destination file F:\Video\TV Shows\Christopher Kimballs Milk Street Television\Season 03\Christopher Kimballs Milk Street Television-S03E06-Chicken Around the World 2019 10 11---.mkv does not exist, continuing with conversion
INFORMATION> 2019-10-19T16:33:54 MCEBuddy.Engine.ConversionJob --> Running custom commands
WARNING> --> Cannot find AirYear
WARNING> --> Cannot find AirMonth
WARNING> --> Cannot find AirDay
WARNING> --> Cannot find AirYear
WARNING> --> Cannot find AirMonth
WARNING> --> Cannot find AirDay
INFORMATION> 2019-10-19T16:33:54 MCEBuddy.Transcode.CustomCommand --> No custom commands found

Wat nog vreemder is: tijdens de conversie bekijkt MCEBuddy ook nog het .TS-bestand (zie hieronder).

INFORMATION> 2019-10-19T16:34:46 MCEBuddy.Engine.ConversionJob --> Analyzing video information
INFORMATION> 2019-10-19T16:34:46 MCEBuddy.VideoProperties.VideoInfo --> Reading MediaInfo from F:\Temp\working0\Christopher Kimballs Milk Street Television-S03E06-Chicken Around the World-2019-10-11.ts
INFORMATION> 2019-10-19T16:34:53 MCEBuddy.VideoProperties.VideoInfo --> Supplementing Media information using FFMPEG
INFORMATION> 2019-10-19T16:34:55 MCEBuddy.VideoProperties.VideoInfo --> Reading Original File Media information

Iemand een idee? Ik ga kijken of KMTTG het .TS-bestand niet kan transcoden naar MP4 of het daarna kan verwijderen.

Hoe dan ook, het proces is stuk: het MP4-bestand bevat helemaal geen apostrof, en het .TS-bestand krijgt het vreemde UTF-8-apostrof dat niet naar CP1252 (de gebruikelijke ASCII) wordt geconverteerd.

4

Hier is de MCEBuddy-verwerkingslogsectie voor de .TS-versie van het bestand. Dit is degene die blijkbaar wordt hernoemd en het foutief geconverteerde UTF8-apostrof-teken gebruikt (ik kan niet zien of het een apostrof is of een “smart quote”, dus een sluitend enkel aanhalingsteken in plaats van een echte apostrof).

INFORMATIE> 2019-10-19T15:35:40 MCEBuddy.Engine.ConversionJob --> Bestand converteren -> F:\Recorded TV\Tivo\Christopher Kimballs Milk Street Television-S03E06-Chicken Around the World-2019-10-11.TiVo
INFORMATIE> 2019-10-19T15:35:43 MCEBuddy.Engine.ConversionJob --> Aangepaste opdrachten uitvoeren
INFORMATIE> 2019-10-19T15:35:43 MCEBuddy.Transcode.CustomCommand --> Geen aangepaste opdrachten gevonden
INFORMATIE> 2019-10-19T15:35:43 MCEBuddy.Engine.ConversionJob --> Programma-informatie en banner van internetbronnen ophalen
INFORMATIE> 2019-10-19T15:35:43 MCEBuddy.MetaData.VideoMetaData --> Generieke tags extraheren
WAARSCHUWING> 2019-10-19T15:35:43 MCEBuddy.MetaData.VideoMetaData --> Kan metadata niet uit het bestand F:\Recorded TV\Tivo\Christopher Kimballs Milk Street Television-S03E06-Chicken Around the World-2019-10-11.TiVo halen. F:\Recorded TV\Tivo\Christopher Kimballs Milk Street Television-S03E06-Chicken Around the World-2019-10-11.TiVo (taglib/tivo)
INFORMATIE> 2019-10-19T15:35:43 MCEBuddy.MetaData.FileExtractMetadata --> TiVo-metadata via TDCat extraheren
INFORMATIE> 2019-10-19T15:35:45 MCEBuddy.MetaData.FileExtractMetadata --> XML-tags extraheren
INFORMATIE> 2019-10-19T15:35:45 MCEBuddy.MetaData.VideoMetaData --> Seriesdetails downloaden
INFORMATIE> 2019-10-19T15:35:45 MCEBuddy.MetaData.VideoMetaData --> Opname Type Programma
INFORMATIE> 2019-10-19T15:35:45 MCEBuddy.MetaData.VideoMetaData --> TheTVDB controleren
WAARSCHUWING> --> Geen overeenkomst op TVDB gevonden voor taal en
INFORMATIE> 2019-10-19T15:35:46 MCEBuddy.Engine.ConversionJob --> Controleren op ophieuw verwerken van doelbestand
INFORMATIE> 2019-10-19T15:35:46 MCEBuddy.Engine.ConversionJob --> Doelbestand F:\Video\TV Shows\Christopher Kimball’s Milk Street Television\Seizoen 03\Christopher Kimball’s Milk Street Television-S03E06-Chicken Around the World-2019-10-12.mkv bestaat niet; conversie wordt voortgezet

Merk op dat het oorspronkelijke .TiVo-bestand (.TS) geen apostrof bevat, maar dat deze blijkbaar in de programmanaam wordt geplaatst wanneer de metadata uit het TiVo (.TS)-bestand wordt geëxtraheerd.

Hoe dan ook, er zijn hier ook problemen met 1) het toepassen van de naamgevings-/TVDB-match-override, en met 2) het gebruik van nVidia GPU-hardware-transcodering voor de H.265 HEVC-codec.

5

Ik heb het volledige logboek nodig om te zien wat er aan de hand is. Waarschijnlijk komt het van de TiVO-metadata-extractie. Het originele MPG-bestand samen met de MAK-sleutel zou nog beter zijn om het te kunnen controleren.