Truyền thuyết kể rằng, khi Hoàng đế Lý Thái Tông đang sầu lo vì không có con nối dõi tông đường, ông đã nằm mơ thấy Quan Âm Bồ Tát ngồi trên một đóa sen và dâng cho ông một cậu con trai. Sau đó, ông đã thực sự có một người con trai sau khi kết hôn với một cô gái xuất thân nhà nông. Để tỏ lòng biết ơn, ông đã cho xây dựng Chùa Một Cột với thiết kế của một bông sen mọc lên từ ao với độ cao 1,25 m. Ngôi chùa được làm bằng gỗ và thờ tượng Quan Âm ở trong để cúng bái.
Chính vì vậy, tên của ngôi chùa cũng xuất phát từ thiết kế thực của khối kiến trúc: Tất cả đều được xây dựng trên một trụ đá duy nhất tượng trưng cho cành của một bông sen ở giữa ao. Trong văn hóa phương Đông, hoa sen tượng trưng cho đức tính tinh khiết. Mặc dù ngôi chùa đã bị tàn phá bởi người Pháp vào cuối năm 1954 nhưng sau đó đã được chính phủ kế nhiệm cho xây dựng lại theo kiến trúc ban đầu.
Ngày nay, các cặp vợ chồng không có con từ khắp nơi trên đất nước thường tới thăm chùa với hy vọng nó sẽ mang lại cho họ may mắn để thụ thai một đứa bé. Nhiều người còn cho rằng ngôi chùa có sức mạnh chữa lành bệnh tật kỳ diệu nên những người ốm và lớn tuổi hay đến đây thăm viếng mỗi năm để cầu mong sức khỏe tốt. Chùa Một Cột nằm trong khuôn viên phía sau của Bảo tàng Hồ Chí Minh. Ngôi chùa đặc biệt thu hút du khách trong suốt mùa hè khi hoa sen tại đây sẽ nở rộ, tạo ra cảnh quan tuyệt đẹp như tranh vẽ. Ngoài ra, du khách có thể tới đây tham quan vào buổi sáng sớm hoặc hoàng hôn, khi ánh sáng phản chiếu qua ao tạo cho ngôi chùa một nét huyền bí tuyệt đẹp.