Nằm cách đường 10 khoảng 200m, thuộc địa bàn phường Lộc Hạ, chùa Đệ Tứ có tên chữ là Đại Thánh Quán vốn được xây dựng trên nền móng cũ của cung Đệ Tứ, một trong những cung điện được các vua Trần xây dựng vào thế kỷ XIII dành cho các vương phi công chúa, hoàng thân quốc thích nghỉ ngơi. Sách Đại Nam nhất thống chí viết : "Chùa Đại Thánh Quán ở xã Đệ Tứ huyện Mỹ Lộc là hành cung thứ tư (Đệ Tứ hành cung) do nhà Trần xây dựng. Sau dân sở tại dùng chữ Đệ Tứ làm tên xã, lại dựng chùa ở đấy".
Hiện nay, vị trí ngôi chùa nằm cách khu vực đền Thiên Trường khoảng chưa đầy 1 km. Dấu vết dòng sông cổ hai phía đông, tây làng Đệ Tứ thông ra sông Vĩnh Giang cho thấy từ Đệ Tứ có thể dùng cả đường thủy và đường bộ để dễ dàng đến với các cung Đệ Nhất, Đệ Nhị, Đệ Tam, Thiên Trường. Dấu vết đó không chỉ cho thấy vị trí trọng yếu, án ngữ mỗi đầu sông bảo vệ vòng ngoài cung Trùng Quang, Trùng Hoa mà còn gợi lên sự trang hoàng, lộng lẫy của một kinh đô thứ hai sau Thăng Long vào thế kỷ XIII.
Trải qua thời gian, tại đây vẫn còn lưu giữ những tên địa danh mang nhiều ý nghĩa lịch sử như Ao Kho tương truyền là kho hàng nhà Trần, Thượng Viên, Viên Vĩ là những khu vườn cảnh... Tại mỗi khu vực đó, nhân dân đã tìm thấy nhiều di vật như sóc đá, chân tảng đá, mô hình tháp...
Cuộc khai quật khảo cổ học do viện Bảo tàng lịch sử Việt Nam phối hợp cùng Ty Văn hóa Nam Hà tiến hành từ ngày 23/1/1976 đến ngày 18/3/1976 với diện tích khai quật 300 m2 ngay tại khuôn viên chùa đã mở ra nhiều bất ngờ thú vị. Ngay ở dưới độ sâu 0,5m - 1,1m đã tìm thấy hàng trăm di vật như mảnh gốm sứ, gạch ngói, đầu rồng đất nung, dụng cụ lò nung gốm...
Điều đáng lưu tâm ở đây là hai sân gạch hoa được lát theo kiểu chéo góc. Những viên gạch được nung già, màu sắc đỏ tươi, chất đất mịn. Bề mặt gạch vẫn còn nguyên những họa tiết phong phú như hoa chanh, hoa cúc... với đường nét thanh mảnh, mềm mại, tinh tế thể hiện tài nghệ đồng thời xác định được giá trị, tầm vóc của một sân rồng cũng như mức độ trang hoàng của cung điện. Ngoài ra, những đầu rồng, đầu phượng cùng các loại bát đĩa, gạch ngói có kích thước, kiểu cách giống như các di vật tìm thấy khu vực đền Thiên Trường cũng đã cho thấy hành cung Đệ Tứ đối với các vua chúa, quý tộc Trần xưa có một vị trí quan tâm đặc biệt.
Chùa Đệ Tứ không chỉ là một nơi ẩn chứa nhiều giá trị khảo cổ học mà còn là một công trình kiến trúc có giá trị nghệ thuật. Nằm quay hướng tây, ẩn dưới những tán cây cổ thụ to lớn và quang cảnh làng mạc thanh bình, ngôi chùa làm theo kiểu chữ công, kết hợp với các công trình phụ trợ xung quanh như giếng nước, vườn cây, nhà tổ, tăng phòng, nhà khách tạo thành một không gian linh thiêng, gần gũi và tĩnh lặng.
Tiền đường gồm 5 gian 2 chái được tu sửa vào năm Thành Thái thứ 8 (1898) nên mang đậm phong cách nghệ thuật thời Nguyễn. Toàn bộ tiền đường gồm có 6 bộ vì được làm theo kết cấu chồng rường giá chiêng, bẩy tiền, bẩy hậu. Trên các xà dọc, xà nách, câu đầu được điểm xuyết nhẹ nhàng các họa tiết long chầu, tứ quý, lá lật với đường nét thoáng đạt. Gánh đỡ bộ mái tiền đường là 24 cây cột lim đều có đường kính 0,30m.
Tam bảo ba gian được nối với tiền đường bởi kỹ thuật giao mái bắt vần. Tam bảo gồm 4 gian xây dọc, đặt trên vì 4 hàng chân theo kết cấu kẻ truyền. Trên các câu đầu, bẩy, kẻ được bào trơn, chạy đường chỉ kép. Tại tam bảo có bài trí 15 pho tượng mang phong cách thời Nguyễn chia làm 5 lớp.
Thượng điện gồm 3 gian xây ngang, nối với tam bảo bằng kỹ thuật giao mái bắt vần. Tại đây, các cấu kiện gỗ cũng được trang trí nhẹ nhàng, đơn giản tạo thành một không gian rộng rãi, thoáng đạt.
Bao quanh ngôi chùa là nhà tổ 7 gian, nhà khách 7 gian, phủ mẫu 3 gian, tăng phòng 5 gian. Tất cả các hạng mục công trình này đều được làm bằng gỗ lim, mái lợp ngói nam. Trải qua thời gian, được sự quan tâm của chính quyền và nhân dân địa phương nên các công trình vẫn giữ được độ bền vững cùng các phong cách kiến trúc cổ truyền.
Cũng giống như nhiều ngôi chùa khác được xây đựng trên mảnh đất Thiên Trường xưa, chùa Đệ Tứ ngoài thờ Phật còn thờ các danh tướng nhà Trần như Trần Nhật Duật, Phạm Ngũ Lão. Cùng với những di tích lịch sử văn hóa khác như đền Thiên Trường, chùa Phổ Minh, đền Bảo Lộc... chùa Đệ Tứ đã góp phần tạo nên một quần thể di tích văn hóa Trần ở Nam Định. Khách hành hương về đây sẽ có cơ hội tìm hiểu về mảnh đất phát tích của vương triều Trần đồng thời được sống lại với một thời kỳ lịch sử huy hoàng của dân tộc, đúng như câu đối tại chùa đã thể hiện:
Đệ Tứ dữ Đệ Nhất, Đệ Nhị, Đệ Tam, đế vương cung hiển tích.
Trang Ngoại cập Trang Thượng, Trang Trung, Trang Hạ cung hậu điện dữ linh.
(Đệ Tứ cùng Đệ Nhất, Đệ Nhị, Đệ Tam, cung của đế vương còn dấu.
Trang Ngoại với Trang Thượng, Trang Trung, Trang Hạ, đất xưa công hầu vẫn còn thiêng).
Theo: Di tích lịch sử - Văn hóa tỉnh Nam Định