Палаты построены в 1670-е гг. по заказу псковского купца Сергея Поганкина, богатейшего человека своего времени. Несмотря на этот факт, снаружи палаты не имеют никаких украшений и выглядят довольно просто. Но размеры их внушительны даже для современного XXI века.
Палаты купца Поганкина представляют собой Г-образный комплекс, состоящий из трех зданий разных уровней. Материалом для строительства служила известняковая плита, скрепленная известковым раствором. Стены палат, обмазанные и побеленные, не несут никаких декоративных элементов.
Западная часть постройки, где жил сам хозяин, была трехэтажной. Южная, предназначенная для членов купеческой семьи – двухэтажной. А в одноэтажной восточной части размешались поварни. По всей длине здания над каменным корпусом тянулась деревянная надстройка. Палаты располагались по периметру замкнутого двора, который в XVII веке находился в черте Окольного города, на Полонище. В комплекс строений также входил каменный флигель, парадные ворота и различные деревянные хозяйственные постройки.
Каменная часть палат дошла до нашего времени практически в первоначальном виде. Были утрачены лишь два крыльца, выходящие во двор, и верхние пролеты лестниц, которые вели из каменной части постройки в деревянные хоромы.
