Phủ nằm bên mép nước hồ Tây, thuộc xóm Quảng Khánh, làng Tây Hồ, phường Quảng An. Những năm trước đây Quảng Khánh là một ốc đảo với dân cư vài chục hộ, khoảng hơn hai trăm nhân khẩu, lấy nghề trồng rau muống và cấy lúa làm chính. Lối đi vào Phủ phải qua đường Xuân Diệu (xưa gọi là đường rặng ổi) rẽ vào đường Đặng Thai Mai (dân ở đây thường gọi là đường phi lao). Đi khoảng 600 mét, qua con đường trước đây hơi quanh co được lát gạch nghiêng rộng 1,2m. Hai  bên đường là ruộng lúa, rau muống và hồ, mùa hè nở ngát hoa sen. Những năm đầu thế kỷ 20 nơi đây cò về đậu kín trên các lùm cây, đàn sâm cầm bơi lội tung tăng bên mép hồ. Đứng bên này hồ nhìn sang bên kia thấy mênh mông.

Phủ nằm trong một khu quần thể di tích văn hoá Tây Hồ. Xung quanh thành Thăng Long, hiếm làng nào có nhiều công trình tín ngưỡng xưa của người Việt như làng Tây Hồ. Lối vào phủ là chùa Tây Hồ Tự, đình Quảng Bố (còn gọi đình Quảng Bá) nơi Bác Hồ đã về thăm ngày 29/9/1962. Hướng mặt sang phía Tây Bắc có chùa Tào Sách (làng đào Nhật Tân) thế “Long chầu hổ phục”, nhìn sang hướng Tây, bên kia hồ là đình Võng Thị, làng Bưởi cổ kính, hướng sang phía Đông đường Thanh Niên xanh mát, mùa hè rực đỏ hoa phượng, thấp thoáng người xe qua lại, có chùa Trấn Quốc uy nghi và đền Quán Thánh là một trong tứ trấn của Hà thành. Nhìn sang là làng cá cảnh Yên Phụ có đình Yên Phụ thờ Linh Lang Đại vương. Các nhà nghiên cứu lịch sử cho biết, Hà Nội chỉ có một phủ xứng tầm linh thiêng, đó chính là Phủ Tây Hồ. Đặc biệt ngay cổng vào Phủ, phía bên phải có đền Kim Ngưu (trâu vàng). Đền Kim Ngưu gắn liền với huyền thoại giải thích nguồn gốc của hồ Tây mà thuở xưa có tên là hồ Kim Ngưu.

Phủ Tây Hồ hay phủ Mẫu Tây Hồ, là nơi thờ bà chúa Liễu Hạnh-một trong những đại diện tiêu biểu cho đạo Mẫu ở Việt Nam. Tương truyền rằng: Bà là tiên nữ, con gái thứ hai của Ngọc Hoàng, tên Ngọc Quỳnh Hoa, bị đày xuống trần vì tội bất kính. Trong một bữa tiệc, nàng đã làm vỡ cái ly ngọc quý nhất của Ngọc Hoàng. Khi bị đày xuống hạ giới, nàng không cam chịu mà vẫn chu du, khám phá khắp mọi miền đất nước. Một lần qua đảo Tây Hồ, tiên chúa bỗng dừng lại, mỉm cười khi phát hiện ra đây là địa linh sơn thủy hữu tình. Nàng quyết định lưu lại nơi đây một thời gian và mở quán nước để làm cớ vui thú văn chương, với cảnh thiên nhiên huyền diệu. Như xui khiến cho một lần thiên kỳ ngộ, danh sĩ Phùng Khắc Khoan cùng hai danh sĩ họ Lý và họ Ngô đi thuyền dạo chơi trên hồ, thấy cảnh đẹp, nên thơ nên các vị ghé thuyền vào chơi. Họ vào quán Tiên chúa uống nước rồi vô tình tâm đầu ý hợp. Bốn người cùng vịnh bài thơ “Tây Hồ ngự quán” mà nay vẫn còn lưu truyền mãi. Tiên Chúa ở đây trong bao lâu không ai biết, chỉ khi Phùng Khắc Khoan trở lại tìm người tri âm thì bà đã không còn ở đây nữa. Ngày ngày, ông bùi ngùi tiếc nuối cho thiên duyên kỳ ngộ mà lại ngắn ngủi vô cùng của mình. Để nguôi ngoai nỗi nhớ mông lung một kỳ tài, ông cho lập đền thờ người tri âm của mình. Phủ Tây Hồ có xuất xứ khá li kì, huyền thoại là thế.