Тема 12. Розподілені обчислення з передаванням повідомлень MPI: двоточкові та колективні операції, гібридні програми MPI + OpenMP

Мета: ознайомитися з моделлю розподіленої пам’яті та стандартом MPI; навчитися збирати й запускати програми Open MPI, використовувати двоточкові блокуючі та неблокуючі операції без взаємоблокувань, колективні операції (зокрема для частин різного розміру), похідні типи й декартові топології; опанувати схему «майстер–робітник», декомпозицію області з обміном гало, гібридні програми MPI + OpenMP з прив’язкою процесів і вимірювання масштабованості.

Зміст лекції

1. Стандарт MPI і запуск програм — Модель розподіленої пам’яті та стандарт MPI · Встановлення, збирання та запуск
2. Двоточкові та неблокуючі обміни — Структура програми MPI · Двоточкові операції · Взаємоблокування та неблокуючі обміни
3. Колективні операції та комунікатори — Колективні операції · Похідні типи, комунікатори та топології · Паралельні алгоритми з передаванням повідомлень
4. Гібридні програми й продуктивність — Гібридні програми MPI + OpenMP · Запуск на кількох комп’ютерах · Аналіз продуктивності
5. Приклади та типові помилки — Приклади програм · Налагодження та типові помилки

Практика та контроль

• Практика — 3 розібрані приклади з повним кодом і результатами виконання
• Завдання — 30 варіантів, кожен має завдання трьох рівнів складності
• Підсумки — висновки, питання для самоперевірки та корисні посилання