Библиотеки в программе обычно делают лишь незначительную часть работы. Это лишь вспомогательный инструмент. Основной алгоритм пишется руками и обычно именно он определяет производительность. Даже между компиляторами С++ может быть большая разница в производительности генерируемого кода. Многое может зависеть от опций компиляции. У некоторых компиляторов С++ есть возможность делать ассемблерные вставки в коде С++. И в этом во всём огромный потенциал увеличения производительности. Да, готовые библиотеки предоставляют определённый функционал, но чаще всего неоптимальны в плане производительности. Короче, те, кто пишет на Питоне, даже не подозревают насколько код может быть быстрый.