Нашел в приват статейке интересный код, собрал под вм на nasm, ожидаемо через 3-5 секунд система заглохла намертво.
Код чисто для академического интереса и для понимания работы функции malloc, ну и алгоритма форк бомбы.
Вся информация по сборке в репозитории.
Залил в репозиторий Github: сюда...