9.2 KiB
Executable File
Практический пример по лекции 3: от гонки к корректному эксперименту
Задача: показать потерю обновлений, исправить её блокировкой, затем сравнить одинаковую CPU-нагрузку на стандартной и free-threaded сборках. Готовые файлы находятся в материалы/lec3/.
Шаг 1. Воспроизводим гонку.
Файл race_demo.py запускает четыре потока, каждый делает 2000 увеличений. В небезопасной версии time.sleep(0) повышает вероятность чередования, чтобы дефект проявлялся чаще.
python3.14 материалы/lec3/race_demo.py
Контрольный запуск (CPython 3.12.15, macOS, ARM64; число в первой строке меняется от запуска к запуску):
Без Lock: 2041 из 8000
С Lock: 8000 из 8000
Потерянные 5959 обновлений — не «погрешность», а нарушение инварианта. В другом запуске число будет другим, а вариант с Lock обязан всегда давать 8000.
Шаг 2. Проверяем исправление как гипотезу.
Недостаточно увидеть один правильный результат. Запустите тест несколько раз на обеих сборках. Для каждого запуска зафиксируйте ожидаемое и фактическое значение. Утверждение assert safe == expected в файле проверяет инвариант автоматически.
Сформулируйте устно, почему критическая секция включает и чтение, и запись. Если вынести old = self.value за with self.lock, гонка останется, хотя в коде по-прежнему будет блокировка.
Шаг 3. Запускаем одинаковую нагрузку на разных сборках.
Функция busy_sum в gil_demo.py содержит только вычисления на чистом Python. Последовательная и поточная версии выполняют одинаковый объём работы и возвращают одинаковую сумму.
def busy_sum(n):
total = 0
for i in range(n):
total += i * i
return total
def threaded(pool, n, workers):
return sum(pool.map(busy_sum, [n] * workers))
Прогрев выполняется до включения таймера, а пул создаётся вне измеряемой функции:
def measure(function, *args):
function(*args)
start = time.perf_counter()
result = function(*args)
return result, time.perf_counter() - start
Выполните два запуска из папки лекции/:
python3.14 материалы/lec3/gil_demo.py
python3.14t материалы/lec3/gil_demo.py
Сначала проверьте строку Результаты совпали: True, затем анализируйте время. На стандартной сборке потоки не должны дать устойчивого ускорения чистого Python-цикла. На free-threaded сборке ускорение возможно, но его величину нельзя предсказать без замера: она зависит от нагрузки, оборудования и накладных расходов интерпретатора.
Шаг 4. Связываем корректность и производительность.
Увеличьте число workers до 1, 2, 4 и 8. Для каждого варианта вычислите S(p) = T(1) / T(p) по методике лекции 1. Отдельно отметьте, не изменился ли результат. Если ускорение появилось при неверном результате, это не ускорение решения задачи.
Попробуйте сами: замените
ThreadPoolExecutorнаProcessPoolExecutor. Какие части программы придётся изменить из-за сериализации и запуска процессов? Не меняйте вычислительную функцию.
Типичные ошибки (≈5 мин)
| Симптом | Причина | Как исправить |
|---|---|---|
| Счётчик иногда меньше ожидаемого | Составное обновление не защищено | Включить весь цикл «чтение — изменение — запись» в критическую секцию |
| Блокировка есть, а гонка осталась | Часть обращений происходит вне with lock |
Защищать один инвариант одним согласованным протоколом |
| Потоки не ускоряют чистый Python-цикл | Активен GIL | Проверить sys._is_gil_enabled(); выбрать процессы, подинтерпретаторы или free-threaded сборку |
| На free-threaded сборке GIL неожиданно активен | Расширение без поддержки free threading включило его при импорте | Проверить предупреждения и совместимость пакетов |
| Пул процессов падает или запускается рекурсивно | Нет защиты __main__ либо функция не сериализуется |
Запуск поместить под проверку; функцию вынести на верхний уровень модуля |
| Программа зависла при завершении очереди | Не отправлены признаки остановки или пропущен task_done() |
Исправить протокол завершения; вызывать task_done() в finally |
| Два потока периодически ждут друг друга | Блокировки захватываются в разном порядке | Ввести единый порядок захвата и проверить циклы ожидания |
| TSan «не видит» гонку в Python-файле | Инструмент анализирует C/C++, а не Python-байткод | Для Python использовать инварианты и стресс-тесты; TSan применять к native-части |
Задание (≈60 минут). Проведите мини-исследование корректности и масштабируемости.
- Запустите
race_demo.pyпять раз на стандартной сборке и пять раз на free-threaded сборке. Запишите фактический и ожидаемый результаты каждого прогона. - Исправьте небезопасный вариант через
Lock, повторите эксперимент и сформулируйте инвариант, который теперь проверяется. - Выполните
gil_demo.pyдля 1, 2, 4 и 8 workers на обеих сборках. Используйте не менее пяти повторов и медиану, фиксируйте окружение. - Постройте таблицу
T(p),S(p)и отметьте результат проверки корректности. Отдельно укажите, не включил ли сторонний пакет GIL. - Сделайте вывод: какая модель подходит для этой нагрузки и какие ограничения эксперимента не позволяют распространить вывод на все Python-программы.
Генерировать обвязку замеров и графиков с помощью ИИ-ассистента можно. Приложите декларацию: что сгенерировано, какие проверки выполнены и что исправлено.
Считается выполненным, если:
- приведены версии обеих сборок, ОС, процессор и результат проверки активности GIL;
- есть журнал всех прогонов счётчика и автоматическая проверка инварианта;
- таблица производительности построена по медианам не менее пяти повторов;
- результаты параллельной версии совпадают с последовательной;
- вывод разделяет наблюдения, интерпретацию и ограничения эксперимента.