Il discorso secondo me è abbastanza complesso nel senso: se vuoi valutare la qualità di un video che tu hai convertito in un certo codec, con certi parametri, con un certo tipo di encoder lo puoi sempre fare ma rispetto a quel video (master) originale da cui tu hai convertito. Esempio: hai un video in 1080p, con bitrate molto alto in h264, e lo vuoi scalare a 480p, decidi quindi di ridurre la risoluzione e utilizzi un certo encoder, nel tuo caso libxvid. Ottenuto il file tu puoi ora fare un paragone sia soggettivo, mettendo a confronto frame by frame con i tuoi occhi il video in 480p con quello in 1080p e vedere "quanto ha perso" sia oggettivo, e qui entrano in ballo parametri come il PSNR o il SSIM etc etc. Questi ultimi vengono calcolati sempre rispetto al "master" originale. Procedi ora con un secondo tentativo, prendi sempre il tuo video in 1080p e lo converti sempre in 480p ma stavolta cambi parametri quali il bitrate, i parametri dell'encoder, o se vuoi l'encoder stesso, passando magari a x264 e vedere quale tra libxvid e x264 ha prodotto un risultato migliore "a parità di bitrate". Questa operazione la ripeti quante volte vuoi cambiando man mano i parametri finché ti avvicini al risultato desiderato. Ti ritroverai dunque con un numero x di video "campione" che puoi paragonare tra loro sempre in modo soggettivo, a occhio, e credimi è molto importante, sia oggettivo, se per ciascun video prodotto calcoli i valori oggettivi come PSNR etc rispetto il video "master" . Per ciascun video, ti ritroverai dunque con valori diversi di PSNR o SSIM e puoi vedere quelli che sono "matematicamente" migliori di altri: questi dati ti dicono per ciascun video "quanto ha perso" rispetto al video master da cui tu sei partito. Quello che chiedi tu è leggermente diverso: ovvero se ho i due file di cui sopra e li voglio in 640x272 scelgo il migliore? Il problema qui è che tu hai due file diversi, e non hai "una sorgente" con cui confrontare dati oggettivi, e per ipotesi, la sorgente da cui derivano quei file potrebbe essere addirittura diversa. Quindi quando converti ciascun file in 640x272 e magari calcoli il PSNR non puoi paragonare i valori perchè uno sarà rispetto al file in mkv l'altro rispetto al file avi che avevi originariamente. Per cui in questi casi, prima di tutto valuta a parte la risoluzione che in se non vuol dire nulla, il bitrate: per esempio hai scritto che il file mkv (presumo con codec h264) aveva un bitrate di neanche un megabit, per un 720p, a meno che non sia un'immagine statica è veramente pochino. Non mi sorprendo quindi che tu abbia ottenuto risultati migliori convertendo in avi 640x272 da un file con risoluzione più bassa. Col tempo poi e con i risultati che ottieni dalle tue varie conversioni a occhio vedi subito che per esempio un film d'azione di due ore in h264 in 1080p che magari pesa "solo" 3GB avrà una qualità visiva pessima, rispetto a uno in 720p che pesa 3GB quindi per convertirlo in 640x272 meglio il secondo...
Io onestamente se i tuoi riproduttori supportano l'h264 inizierei il passaggio, in linea di massima è molto meglio di xvid, chiaro che a risoluzioni basse la differenza non è così eclatante: puoi procurarti un video di buona qualità e convertirlo sia in h264 che in xvid e fare poi i confronti rispetto al video originale, e tra i due file convertiti a parità di risoluzione, bitrate etc etc A volte capita che i lettori non leggano un mkv al cui interno è presente un video in h264 ma leggano invece lo stesso video in un file mp4 per cui prova entrambi i container e vedi se il tuoi lettori supportano oltre che il codec, il container stesso...