В 5572 (1811) году, в связи с наступлением Наполеона, Алтер Ребе был вынужден оставить город Ляды. С 29 Ава по 8 Тевета 5573 года Алтер Ребе и его семья, а вместе с ними — десятки хасидов, скитались, пока не прибыли в деревню Пена. Деревня была велика и насчитывала около трехсот дворов. Многие из больших домов стояли пустыми, поскольку мужчины ушли на войну. Жители этого места были добросердечны и бесплатно дали пропитания и дров всем прибывшим.
Пишет Мителер Ребе (второй любавический ребе, сын Алтер Ребе): «По причине углубляющейся с каждым часом великой горечи… переохладился он в великой степени из-за старости его и слабости. И всего за пять дней, что ослаб и рвало его желчью, не устоял он в душе его и освободился ночью на исходе субботы недельной главы „Шмот“».
После ухода из мира (27.12.1812) Алтер Ребе перевезли в город Гадяч, где он был похоронен на берегу реки Псёл.