Ни разу не эксперт, но хочу отметить пару моментов:

1. Почему Алекс решил, что видеопоток после декодирования должен сразу идти на вывод? Там ещё цветокоррекция и прочая постобработка. Конечно, в нормальных видеоплеерах (а не в софт гумне) это всё через шейдеры реализовано, но всё равно 3D-движок задействован.

2. Такое ощущение, что в линуксе проблема не в том, что на видеокарте кадры перекидываются туда-сюда (это должно быть очень быстро), а словно там ещё куча костылей и слоёв абстракции из-за которых декодированный кадр ещё тошнится через ЦПУ десять раз, и ещё сто раз в ядре потормозит на блокировках.