До того, как Береза стала владением Сапегов, она принадлежала Гамшеям, Вештартовичам, Гастовским и Рудинским. В 1648–1689 гг. здесь был построен монастырь картезианцев (отсюда и название Береза Картузская), который владел значительным земельным наделом, 800 крестьянскими дворами и являлся основным градостроительным ядром Берёзы.
Легенда о происхождении полного названия Береза Картузская, пересказанная поэтом.
Аднойчы паходам,- легенда гаворыць, -
Тут з войскам ішоў палкаводзец Сувораў.
Стаміліся крочыць салдаты палямі,
Зрабілі прывал на зялёнай паляне.
Сувораў суніцы зьбірае па лесе,
А пыльны картуз на бярозу павесіў.
Ці доўга, ці не на цяністым прывале
Салдаты з Суворавым адпачывалі.
Затым падаліся далей па дарозе,
Застаўся вісець той картуз на бярозе.
3 тых пор каля ціхае Ясельды-рэчкі
Бярозай-Картускай назвалі мястэчка.
А.Разанаў