原来,建筑应奎山缘于孔庙前方的一座佛寺。早先,在嘉定孔庙前本是一块开阔地——射圃。射圃是士子练习射箭的园圃,为儒家六艺“礼(礼仪)、乐(音乐)、射(射箭)、御(驾车)、书(识字)、数(计算)”之一。射圃前面不远处,是一座始建于北宋天圣年间(1023—1032)的禅院“留光寺”。自南宋嘉定十二年(1219)建嘉定孔庙后,二百多年间,释、儒两家一直相安无事。但这期间,由于时局动荡、民族情结等因素,嘉定登科士子较少。然而一些文人缙绅却听信所谓术士之言,将嘉定科第不盛归咎于留光寺。如明龚弘《儒学应奎山记》所称:“自宋宁宗嘉定中,学随县设,留光寺适抗前方,莫能撤去,是故有宋及元,人才间出。我国朝天顺间(1457—1464),邑令吉水龙晋始筑山障之,人才为之一盛。”据龚弘所记,当时的应奎山,中心位置大致为现在汇龙潭中的湖心亭。东侧则填塞了横沥河直行水道,使横沥河水绕山北、西、南三面迂回贯通。而据清光绪《嘉定县志·科贡表》统计,自嘉定孔庙创建至明天顺初的240年间,嘉定中式进士仅13人,其间元代至明建文间的一百三十余年,更是未出过一名进士。于是有人就认为,这是孔庙前方的留光寺阻滞了嘉定的人才不断涌现。说来也巧,自修筑应奎山之后的天顺末至成化末的20多年间,嘉定前所未有的出现了每次会试都有中式进士的一波“小高潮”,这就似乎印证了术士之言,应奎山发挥了神奇效应。然而,在随后的弘治年间(1488—1487)的连续几次会试,嘉定士子登第者却不可思议的几乎出现空白,如弘治元年至十四年,嘉定仅有一名士子中试进士。对此,有人又把这一现象归结为应奎山常年受雨水冲刷导致山体坍塌所致。