Biskup Erazm Ciołek wzniósł swoją rezydencję na początku XVI wieku.