101 lines
9.2 KiB
Markdown
101 lines
9.2 KiB
Markdown
## Практический пример по лекции 3: от гонки к корректному эксперименту
|
||
|
||
**Задача:** показать потерю обновлений, исправить её блокировкой, затем сравнить одинаковую CPU-нагрузку на стандартной и free-threaded сборках. Готовые файлы находятся в `материалы/lec3/`.
|
||
|
||
**Шаг 1. Воспроизводим гонку.**
|
||
|
||
Файл `race_demo.py` запускает четыре потока, каждый делает 2000 увеличений. В небезопасной версии `time.sleep(0)` повышает вероятность чередования, чтобы дефект проявлялся чаще.
|
||
|
||
```bash
|
||
python3.14 материалы/lec3/race_demo.py
|
||
```
|
||
|
||
**Контрольный запуск** (CPython 3.12.15, macOS, ARM64; число в первой строке меняется от запуска к запуску):
|
||
|
||
```text
|
||
Без Lock: 2041 из 8000
|
||
С Lock: 8000 из 8000
|
||
```
|
||
|
||
Потерянные 5959 обновлений — не «погрешность», а нарушение инварианта. В другом запуске число будет другим, а вариант с `Lock` обязан всегда давать 8000.
|
||
|
||
**Шаг 2. Проверяем исправление как гипотезу.**
|
||
|
||
Недостаточно увидеть один правильный результат. Запустите тест несколько раз на обеих сборках. Для каждого запуска зафиксируйте ожидаемое и фактическое значение. Утверждение `assert safe == expected` в файле проверяет инвариант автоматически.
|
||
|
||
Сформулируйте устно, почему критическая секция включает и чтение, и запись. Если вынести `old = self.value` за `with self.lock`, гонка останется, хотя в коде по-прежнему будет блокировка.
|
||
|
||
**Шаг 3. Запускаем одинаковую нагрузку на разных сборках.**
|
||
|
||
Функция `busy_sum` в `gil_demo.py` содержит только вычисления на чистом Python. Последовательная и поточная версии выполняют одинаковый объём работы и возвращают одинаковую сумму.
|
||
|
||
```python
|
||
def busy_sum(n):
|
||
total = 0
|
||
for i in range(n):
|
||
total += i * i
|
||
return total
|
||
|
||
|
||
def threaded(pool, n, workers):
|
||
return sum(pool.map(busy_sum, [n] * workers))
|
||
```
|
||
|
||
Прогрев выполняется до включения таймера, а пул создаётся вне измеряемой функции:
|
||
|
||
```python
|
||
def measure(function, *args):
|
||
function(*args)
|
||
start = time.perf_counter()
|
||
result = function(*args)
|
||
return result, time.perf_counter() - start
|
||
```
|
||
|
||
Выполните два запуска из папки `лекции/`:
|
||
|
||
```bash
|
||
python3.14 материалы/lec3/gil_demo.py
|
||
python3.14t материалы/lec3/gil_demo.py
|
||
```
|
||
|
||
Сначала проверьте строку `Результаты совпали: True`, затем анализируйте время. На стандартной сборке потоки не должны дать устойчивого ускорения чистого Python-цикла. На free-threaded сборке ускорение возможно, но его величину нельзя предсказать без замера: она зависит от нагрузки, оборудования и накладных расходов интерпретатора.
|
||
|
||
**Шаг 4. Связываем корректность и производительность.**
|
||
|
||
Увеличьте число workers до 1, 2, 4 и 8. Для каждого варианта вычислите `S(p) = T(1) / T(p)` по методике лекции 1. Отдельно отметьте, не изменился ли результат. Если ускорение появилось при неверном результате, это не ускорение решения задачи.
|
||
|
||
> **Попробуйте сами:** замените `ThreadPoolExecutor` на `ProcessPoolExecutor`. Какие части программы придётся изменить из-за сериализации и запуска процессов? Не меняйте вычислительную функцию.
|
||
|
||
## Типичные ошибки (≈5 мин)
|
||
|
||
| Симптом | Причина | Как исправить |
|
||
|---|---|---|
|
||
| Счётчик иногда меньше ожидаемого | Составное обновление не защищено | Включить весь цикл «чтение — изменение — запись» в критическую секцию |
|
||
| Блокировка есть, а гонка осталась | Часть обращений происходит вне `with lock` | Защищать один инвариант одним согласованным протоколом |
|
||
| Потоки не ускоряют чистый Python-цикл | Активен GIL | Проверить `sys._is_gil_enabled()`; выбрать процессы, подинтерпретаторы или free-threaded сборку |
|
||
| На free-threaded сборке GIL неожиданно активен | Расширение без поддержки free threading включило его при импорте | Проверить предупреждения и совместимость пакетов |
|
||
| Пул процессов падает или запускается рекурсивно | Нет защиты `__main__` либо функция не сериализуется | Запуск поместить под проверку; функцию вынести на верхний уровень модуля |
|
||
| Программа зависла при завершении очереди | Не отправлены признаки остановки или пропущен `task_done()` | Исправить протокол завершения; вызывать `task_done()` в `finally` |
|
||
| Два потока периодически ждут друг друга | Блокировки захватываются в разном порядке | Ввести единый порядок захвата и проверить циклы ожидания |
|
||
| TSan «не видит» гонку в Python-файле | Инструмент анализирует C/C++, а не Python-байткод | Для Python использовать инварианты и стресс-тесты; TSan применять к native-части |
|
||
|
||
|
||
**Задание** (≈60 минут). Проведите мини-исследование корректности и масштабируемости.
|
||
|
||
1. Запустите `race_demo.py` пять раз на стандартной сборке и пять раз на free-threaded сборке. Запишите фактический и ожидаемый результаты каждого прогона.
|
||
2. Исправьте небезопасный вариант через `Lock`, повторите эксперимент и сформулируйте инвариант, который теперь проверяется.
|
||
3. Выполните `gil_demo.py` для 1, 2, 4 и 8 workers на обеих сборках. Используйте не менее пяти повторов и медиану, фиксируйте окружение.
|
||
4. Постройте таблицу `T(p)`, `S(p)` и отметьте результат проверки корректности. Отдельно укажите, не включил ли сторонний пакет GIL.
|
||
5. Сделайте вывод: какая модель подходит для этой нагрузки и какие ограничения эксперимента не позволяют распространить вывод на все Python-программы.
|
||
|
||
Генерировать обвязку замеров и графиков с помощью ИИ-ассистента можно. Приложите декларацию: что сгенерировано, какие проверки выполнены и что исправлено.
|
||
|
||
**Считается выполненным, если:**
|
||
- приведены версии обеих сборок, ОС, процессор и результат проверки активности GIL;
|
||
- есть журнал всех прогонов счётчика и автоматическая проверка инварианта;
|
||
- таблица производительности построена по медианам не менее пяти повторов;
|
||
- результаты параллельной версии совпадают с последовательной;
|
||
- вывод разделяет наблюдения, интерпретацию и ограничения эксперимента.
|
||
|
||
|