Thuở đất Hà Tiên còn hoang sơ, cư dân Phù Nam cổ đã cư trú ở đây. Quân Xiêm và Chân Lạp thường sang đánh phá, cướp bóc, nên nhiều người đem ngọc ngà, châu báu chôn giấu trong các hang động quanh vùng núi Đá Dựng. Khi Mạc Cửu đến khai mở đất Hà Tiên vào cuối thế kỷ 17, thỉnh thoảng người dân nhặt được ngọc quý tại Đá Dựng, nên ông gọi là núi Châu Nham - nghĩa là Núi Ngọc.

Từ thị xã Hà Tiên, du khách đi đoạn đường khoảng 6 km bằng ô tô hoặc xe gắn máy theo Quốc lộ 80 về hướng cửa khẩu Xà Xía, đến Thạch Động có một con đường rẽ phải, đi chừng 1 km nữa là đến Đá Dựng - danh thắng quốc gia được công nhận vào năm 2007. Cò trắng sống tại Đá Dựng rất nhiều, do môi trường sinh thái ở đây hoang dã với những cụm núi non xen kẽ đầm lầy, rừng cây bụi.

Châu Nham Sơn là một tác phẩm kỳ vĩ của thiên nhiên đã ban tặng cho Hà Tiên thêm phần diễm lệ, với một vẻ đẹp cùng với những huyền thoại và truyền thuyết. Do đặc trưng cấu tạo, cấu trúc địa chất, cùng với sự xâm thực và tác động của thiên nhiên qua thời gian dài, nên trong lòng núi có rất nhiều hang động... Với đèn pin trên tay, du khách có thể bắt đầu cuộc hành trình du khảo men theo sườn núi, thâm nhập vào hang động để khám phá những điều hấp dẫn. Đường lên các hang động của Đá Dựng dài 3.149 m.

Mỗi hang động mang nét bí ẩn, lạ lùng khác nhau. Hang Dơi có thạch nhũ hình bầu hồ lô. Hang Thần Kim Qui có khối đá xanh, dẹp hình con rùa. Ở động Bồng Lai, không khí trong lành. Vào động Mẹ Sinh Con, bạn sẽ có cảm giác hơi khó thở vì càng đi sâu, hang càng nhỏ dần, tối tăm. Ở động Khổ Qua, bạn sẽ rất thú vị khi ngắm nhìn những thạch nhũ có hình nom như trái khổ qua khổng lồ. Ở động Sám Hối, bạn sẽ thấy một tượng đá to như hình một nhà sư đang cúi nhẹ đầu vào vách đá trầm tư. Có những hang ăn thông với nhau tạo thành những “mê cung” với rất nhiều thạch nhũ muôn vạn hình dáng, đặc trưng của núi đá vôi bị xâm thực.

Đá Dựng như một tòa lâu đài đá vĩ đại, kiên cố với hàng trăm vọng pháo đài, hàng ngàn gác chuông thiên tạo. Các hang động nổi tiếng như hang Bà Chúa Xứ; hang Trống Ngực khi bạn vỗ tay vào ngực mình thì vách hang sẽ dội lại với âm thanh giống như tiếng trống “thùng thình”; hang Lầu Chuông có nhiều thạch nhũ khi gõ vào sẽ tạo nên những tiếng ngân nga trong vắt như tiếng chuông...

Ngoài những hang động kỳ vĩ chứa đựng nhiều bí ẩn, núi Đá Dựng còn có truyền thuyết ly kỳ về câu chuyện Thạch Sanh - Lý Thông, rất nổi tiếng trong dân gian. Hang “Cội Hàng Gia” ở sườn núi Đá Dựng được cho là nơi sinh sống của Thạch Sanh. Ở trước cửa động có nhiều phiến đá ghép mí, chồng khít lại với nhau tạo thành một mái vòm tự nhiên. Theo truyền thuyết, một buổi sáng xưa kia, từ nơi đây, Thạch Sanh đã giương cung bắn chim đại bàng yêu tinh đang cắp nàng công chúa bay ngang qua núi Đá Dựng.

Núi Đá Dựng là một danh lam thắng cảnh nổi tiếng với nhiều truyền thuyết, huyền thoại mang dấu ấn thuở tiền nhân ta khai mở đất phương Nam. Ngoài ra, Đá Dựng cùng với “Hà Tiên thập cảnh” là nơi ghi dấu nhiều sự kiện văn hóa, lịch sử gắn liền với sự hình thành, phát triển của vùng đất Hà Tiên.