И увеличение объема оперативной памяти здесь не всегда помогает, если уже установлено 1-2 Гб RAM и более. В Windows 32 есть принципиальное ограничение, не более 2Гб памяти на процесс(программу). На практике же и столько памяти выделить не получится. Поэтому крайне рекомендуется все большие растры открывать по ссылке, если растры развернуты, выполнять ортотрансформирование.