波兰低地牧羊犬的祖先之一是匈牙利的波利犬(Puli)。在16世纪以前,这些19-22英寸高的长毛低地牧羊犬被用来放牧和护卫。这些犬的外貌分别有那时波兰和波梅拉尼亚犬的特征。
据说在1514年,波兰人乘船进入苏格兰,用稻谷换取羊群,并带了6只低地牧羊犬帮助他们照顾羊群。苏格兰人用一对种羊跟波兰人交换了两雌一雄波兰低地牧羊犬,因此这三只狗又成了苏格兰长须柯利犬的祖先之一。到了二次世界大战,据说低地牧羊犬遭受了灭顶之灾,濒临灭绝,多亏了一位波兰兽医,他的一只雄犬和六只雌逃过此劫,才使得这个犬种得以延续下来。