南宋时，孔子第四十八世孙袭封衍圣公孔端友率族人随高宗南下，赐家于衢，宋亡后，元忽必烈让孔氏后裔由衢回山东，衢州孔洙以其先人在衢为由不去山东，让爵山东孔氏，衢州一族从此定居，因此衢州孔庙世称孔氏南宗家庙。