Краткий план и инструменты для профилирования и оптимизации CPU‑ограниченного Python‑приложения.
1) Подготовка и воспроизведение
- Обеспечьте воспроизводимый сценарий (натуральный рабочий набор данных, фиксированный ввод).
- Снимите базовый тайминг (wall time, CPU time) и измерьте variance (несколько прогонов).
2) Профилирование — последовательность действий
- Сначала сэмплинг (быстро, без перезапуска): py-spy (или speedscope) — снимает стеки в реальном времени, генерирует flame graph; полезно на проде с низким overhead.
- Затем детерминистический профайлер для точности: cProfile -> pstats -> визуализаторы (snakeviz, snakeshot). cProfile даёт точные вызовы/время, но медленнее.
- Для покадрового анализа горячих функций: line_profiler (kernprof, @profile) — показывает время по строкам.
- Для современных замен: scalene — показывает CPU/alloc/IO по строкам; pyinstrument — удобный call tree.
- Системный уровень: perf / eBPF (bcc, bpftrace) — для SYSTEM calls, контекстных переключений, таймингов ядра.
3) Как читать результаты
- Найдите «горячие» функции, агрегирующие большую долю CPU (например, функция использует > $50\%$ CPU).
- Оцените, где тратится время: Python‑вызовы, аллокации, вызовы C‑библиотек, ожидание I/O.
- Сначала оптимизируйте «горизонт» — уберите дублирование работы, кеширование результатов, уменьшение аллокаций.
4) Алгоритмическая оптимизация — самая большая отдача
- Изменение алгоритма часто даёт экспоненциальный выигрыш: например улучшение сложности с $O(n^2)$ до $O(n\log n)$ переведёт код из неработоспособного в быстрый при больших $n$.
- Используйте подходящие структуры данных (set/dict, heap, deque), профилируйте по сложности операций.
5) Микрооптимизации на Python‑уровне
- Уменьшите аллокации (предаллоцируйте списки, используйте генераторы аккуратно).
- Избегайте глобальных переменных в горячих петлях, убирайте лишние атрибутные доступы (локальная переменная быстрее).
- Vectorize с NumPy/Numba для числовых операций — перенос работы в C.
6) Когда использовать многопроцессность/параллелизм
- GIL блокирует потоковую параллельность в CPU‑bound Python. Чтобы распараллелить:
- multiprocessing / ProcessPoolExecutor — отдельные процессы, обмениваются данными через сериализацию (учитывайте overhead).
- Если расширения (NumPy, C‑libs) освобождают GIL, можно использовать многопоточность.
- Оцените предельный ускорение по Amdahl’у: $S(N)=\frac{1}{(1-p)+p/N}$, где $p$ — доля параллельного кода, $N$ — число воркеров.
7) Когда целесообразны C‑расширения, Cython, Numba
- Рассмотрите C/ Cython/Numba если: горячая часть — плотные числовые циклы, не векторизуются NumPy; профайлер показывает значительную долю времени в Python‑цикле.
- Cython: быстро, при статической типизации и использовании nogil даёт большой выигрыш; хорошо для кодирования tight loops и прямого управления GIL.
- C extension / pybind11 (C++): когда нужна тонкая оптимизация, SIMD, OpenMP, или интеграция с существующим C/C++ кодом.
- Numba: JIT для численных функций — минимальный рефакторинг, большие выигрыши для числовых циклов; требует подходящего кода (NumPy‑совместимый).
- Стоимость: поддержка, сборка, переносимость; используйте только для феноменальных горячих точек.
8) Практические приёмы при внедрении C/Cython/Numba
- Профилируйте снова после портирования — иногда переезд меняет узкие места.
- Освобождайте GIL в Cython с nogil при долгих вычислениях, используйте typed memoryviews для массивов.
- Для больших данных избегайте сериализации между процессами — используйте shared memory, mmap или zero‑copy.
9) Дополнительные моменты
- Учитывайте overhead запуска процессов (подходят для грубых задач, не для мелких вызовов).
- Следите за аллокациями и GC: частые аллокации/деалокации могут тормозить CPU. (scalene/objgraph помогают).
- Тестируйте на продовых данных, учитывайте тепловую/кэшную локальность.
10) Резюме — порядок действий
- 1) Воспроизведение и замеры. 2) Быстрый сэмплинг (py-spy). 3) Детальный профайл (cProfile/line_profiler/scalene). 4) Алгоритмы/структуры данных. 5) Vectorize/NumPy/Numba. 6) Параллелизм (multiprocessing или threads если GIL отпускается). 7) Cython/С‑расширения для оставшихся горячих петель. 8) Ремере и регресс‑тесты.
Если нужно, могу предложить конкретный рабочий план для вашего кода (какой инструмент запустить первым, примеры команд py-spy/cProfile, шаблон cProfile→pstats).