Монастырь и Свято-Духов храм были возведены великим князем Литовским Ольгердом. После его кончины там поселилась супруга князя — великая княгиня Иулиания, здесь же она была похоронена. На протяжении XVII–XIX веков монастырь принадлежал униатской церкви, тогда здесь провели реконструкцию и возвели многочисленные монастырские постройки. В XX веке в монастыре находилась сначала женская тюрьма, потом женское духовное училище, а затем облисполком. В 1947 году Свято-Духова церковь была разрушена. В 2000-х годах обитель восстановили, и монастырь снова стал действующим.