Коротко: оптимизировать цикл, добавляющий элемент в список, имеет смысл только при больших объёмах данных или при проблемах с памятью/скоростью — сначала профилируйте. Ниже — ориентиры и варианты замены.
Почему и когда стоит думать об оптимизации
- Операция добавления через list.append амортизированно за время $O(1)$, поэтому цикл, просто собирающий элементы в список, по асимптотике уже $O(n)$ и часто не является узким местом.
- Оптимизировать нужно, если при росте числа элементов $n$ возникает высокая задержка, повышенное потребление памяти или явная нагрузка по ЦП (из профилирования).
Варианты замены и когда они уместны
- List comprehension
- Замена простой сборки через цикл: обычно быстрее (обычно примерно $2\text{–}3\times$ быстрее в CPython) и читаемее. Подходит, когда вы строите список из итерируемого с простым выражением/преобразованием.
- Сложность: остаётся $O(n)$ по времени и памяти.
- itertools / генераторы
- Когда важна экономия памяти: используйте генераторы, itertools.chain/map/filter и т.п. Они лениые — не строят весь список в памяти. Подходит для потоковой обработки или когда итоговый список не нужен целиком.
- Пример использования для передачи в потребитель, который потребляет по одному элементу (параллельно записывает в файл/БД).
- numpy
- Подходит, если данные числовые и операции векторизуемы: даёт большую скорость (обычно $10\times$–$100\times$ для числовых расчётов) и экономию памяти по сравнению с Python-объектами.
- Минус: накладные расходы на создание массива и конвертацию; неэффективен для мелких $n$. Хорошие практики: использовать векторные операции, заранее выделять массив через np.empty или строить через np.fromiter, избегать частых Python-циклов над элементами.
- Память: numpy-массив типа float64 — примерно $8\text{bytes}$ на элемент, тогда как список Python-объектов требует указателей и объектов (сотни байт на элемент в худшем случае).
- array.array и другие специализированные контейнеры
- Если нужны простые примитивные типы (ints, floats) и экономия памяти, array.array или collections.deque могут быть полезны.
Практические пороговые ориентиры (эмпирические)
- Для $n\lesssim 10^4$ обычно нет смысла оптимизировать — выигрыши незаметны.
- Для $10^4\lesssim n\lesssim 10^6$ — сначала используйте list comprehension; при проблемах с памятью — генераторы/itertools.
- Для $n\gtrsim 10^6$ и числовых данных — серьёзно рассматривайте numpy или потоковую обработку (чтобы не держать всё в памяти).
Рекомендованный порядок действий
1. Измерьте время/память (timeit, cProfile, memory_profiler).
2. Если узкое место — построение списка, попробуйте list comprehension (быстро и дешево).
3. Если проблема в памяти — замените на генераторы/itertools или пишите потоково на диск/БД.
4. Если числовые данные и тяжёлые вычисления — векторизуйте в numpy (используя np.fromiter или заранее выделённый массив).
5. Повторно профилируйте.
Краткий итог
- Не оптимизируйте преждевременно: append в список — обычно хорош.
- Используйте list comprehension для простого, часто более быстрого кода.
- Используйте itertools/генераторы для экономии памяти.
- Используйте numpy для больших числовых массивов и векторных операций.