Ngôi chùa được bài thơ nhắc đến chính là Quỳnh Lâm Tự. Ngôi chùa nằm ở trung tâm xã Tràng An, huyện Đông Triều, tỉnh Quảng Ninh (xưa kia là xã Hà Lôi, huyện Đông Triều, Phủ Kinh Môn, Tỉnh Hải Dương). 
Chùa tọa lạc trên một ngọn đồi thoai thoải gọi là núi Tiên Du nằm trong hệ thống triền đồi chạy từ núi Yên Tử, Ngọa Vân xuống đồng bằng. 
Chùa Quỳnh Lâm được xây dựng ở thế đất “Đầu gối sơn, chân đạp thủy” mà dân gian vẫn gọi là thế đất “Rồng chầu, Hổ phục”. Bốn góc chùa có bốn gò đất cao được coi là “Bốn mắt Rồng” tứ trấn xuyên thấu tâm sinh.
Theo truyền thuyết dân gian thì Quỳnh Lâm được xây dựng vào thời Lý Thần Tông do nhà sư Nguyễn Minh Không khởi dựng. Dân gian truyền lại rằng, khi dựng chùa ông đã cho đúc một pho tượng phật Di Lặc bằng đồng cao sáu trượng, pho tượng này được coi là một trong “Thiên Nam tứ đại khí”, pho tượng được đặt trong tòa điện cao bảy trượng. Tương truyền, người đi đường đứng ở bến An Lâm (Bến phà Triều ngày nay) vẫn nhìn thấy nóc điện.
Trải qua bao biến cố và thời gian nhưng hiện nay trước sân chùa vẫn còn lưu lại tấm bia đá cao 2,46m; rộng 1,53m và dày 0,25m có khắc hình rồng thời Lý nên ta biết chùa có từ thời Lý. Đến thời Trần do có vị trí là cửa ngõ nối trung tâm phật giáo Yên Tử, Ngọa Vân, Hồ Thiên với một số ngôi chùa khác trong vùng nên chùa đã được mở rộng và đầu tư xây dựng. 
Các vị tổ của Thiền Phái Trúc Lâm Yên Tử như Trần Nhân Tông, Pháp Loa, Huyền Quang đều đã về tu ở chùa này và xây dựng Quỳnh Lâm trở thành trung tâm phật giáo của cả nước. Từ đó Quỳnh Lâm trở thành một giảng đường quy mô giảng kinh của đạo phật và cũng từ đó Quỳnh Lâm có thêm thiền viện với tên “Viện Quỳnh Lâm”- Trường Đại học phật giáo đầu tiên ở nước ta. Chính từ nơi đây đã đào tạo hàng trăm tăng ni phật tử và in nhiều kinh phật để truyền bá khắp mọi nơi. Cùng từ đó Quỳnh Lâm Viện đã nức tiếng khắp nơi và được triều đình nể trọng, tôn sùng. Giới quý tộc và triều đình cũng đã cúng rất nhiều ruộng đất và của cải để tu tạo chùa, vì thế dân gian mới có câu: “Ngõ chùa Lân, sân chùa Muống, ruộng chùa Quỳnh”.
Năm 1319 Pháp Loa đã kêu gọi tăng ni phật tử chích máu in 500 cuốn kinh đại tạ cất giữ ở Quỳnh Lâm Viện. Tương truyền cũng vào thời nhà Trần các nhà thơ như Nguyễn Xưởng, Nguyễn Úc…thường lui tới đây để làm thơ, như vậy Quỳnh Lâm không chỉ là trung tâm phật giáo mà Quỳnh Lâm còn là trung tâm văn hóa cho cả vùng. Đến đầu thế kỉ XV quân Minh xâm lược nước ta chùa đã bị phá hủy gần hết, sang đến thời Hậu Lê chùa mới được trùng tu lại. Đứng đầu đợt tu sửa này là các Vương Phi trong phủ Chúa Trịnh. Họ xin tiền của kho nhà nước và kết hợp với sự quyên góp của các thiện nam tín nữ trong vùng nên việc tu sửa đã được tiến hành nhanh gọn. Năm 1327, một tháp đá lớn được xây dựng gọi là tháp Tịch Quang (Tháp gồm 7 tầng cao trên 10m, đáy tháp rộng 2,7m, đỉnh tháp hình búp đa, các tầng tháp thu nhỏ dần) cho đến nay  tháp vẫn còn nguyên vẹn.
Đến thời Nguyễn, tại vườn chùa có xây dựng thêm 5 ngọn tháp nữa để ghi nhớ các nhà sư đã trụ trì tại Quỳnh Lâm. Ngoài ra chùa còn có một chuông đồng lớn được đúc vào năm Minh Mệnh thứ 9 (1828), chuông cao 1,45m; đường kính 0,70m. Nhà tổ của chùa thờ 3 tượng Trúc Lâm Tam tổ, trước nhà thờ có gác chuông gỗ 9 gian to và cao, 3 gian giữa nóc cao hơn gác chuông 2 đầu, mỗi bên 3 gian bên treo chuông, bên treo khánh. Thế nhưng đến năm 1910 chùa lại bị hỏa hoạn, nhân dân trong vùng đã góp tiền tu sửa. Năm 1947, giặc Pháp ném bom chùa bị hủy hoại hoang tàn. Năm 1990 bằng nguồn tiền công đức của nhân dân khắp mọi nơi, chùa được xây dựng lại nhằm ghi dấu một công trình đã từng vang bóng trong lịch sử.
Chùa Quỳnh Lâm đã trải qua bao thời gian và bao biến cố thăng trầm, lúc chiến tranh, khi thiên tai hỏa hoạn, có khi chỉ còn lại dấu tích. Thế nhưng ngôi chùa đã từng “Nức tiếng xứ Đông” ngày xưa ấy vẫn còn nguyên giá trị lịch sử văn hóa tiêu biểu của dân tộc. Hàng năm cứ đến ngày 4 tháng 2 (Âm lịch) du khác các nơi lại đổ về trảy hội Quỳnh Lâm.