Dinh Bà Cố không lớn, được xây dựng vào năm Kỷ Dậu (1789), lúc đầu chỉ là những căn nhà lá, sau đó được dựng lại kiên cố hơn nhưng một phần đã bị hư hại nên Hội làng đã nhiều lần tổ chức sửa sang lại. Năm 1987, Dinh Bà Cố được xây thêm nhà khách và sân khấu võ ca để phục vụ khách thập phương trong những ngày diễn ra lễ hội. Lễ vía Bà Cố được tổ chức trong hai ngày 22 và 23/3 (âm lịch), có chiêng trống, có học trò lễ và ba năm một lần có biểu diễn những vở tuồng cổ, tuồng tích.

Từ chân núi Dinh Cố du khách leo lên một dốc bậc thang đá 220 bậc với chiều dài 80m sẽ tới Dinh. Từ đây du khách có dịp ngắm nhìn toàn cảnh cánh đồng lúa của quê hương Đất Đỏ anh hùng và toàn cảnh thị xã Bà Rịa, hít thở bầu không khí trong lành với cảnh sơn thủy hữu tình và nghe kể chuyện về một người phụ nữ Việt Nam hiển linh luôn cứu giúp dân lành nhất là với đồng bào ngư dân miền biển.