Phố Hàng Mã nguyên thuộc thôn Vĩnh Thái (phía Đông) và thôn An Phú (phía Tây), tổng HậuTục, sau đổi thành tổng Đồng Xuân, huyện Thọ Xương. Thời Pháp thuộc, phố có tên là Hàng Đồng (Rue du Cuivre) nhưng người dân vẫn phân biệt hai phố: phố Hàng Mã bắt nguồn từ phố Hàng Đường và kết thúc là phố Hàng Đồng hiện nay và phố Hàng Đồng cũ ở gần phố Phùng Hưng vì ở đó cũng có một số cửa hàng bán đồ đồng.
Năm 1945, cả hai phố này hợp nhất thành phố Hàng Mã, để tránh nhầm lẫn với phố Hàng Đồng hiện nay nằm ở phía bắc phố Bát Sứ. Có một số gia đình quê ở làng Tân Khai (phố Hàng Sắt, Công Đức) đến định cư và mở cửa hàng bán giấy dó, giấy trang trí trên phố này. Đây là những mặt hàng trang trí và đồ vàng mã, đồ cúng bằng giấy.
Tên phố được đặt theo tên nghề thủ công của người dân ở đây. Người dân phố Hàng Mã trước đây chuyên làm các loại vàng mã từ giấy dó như giày dép, quần áo, mũ nón, nhà làm đồ cúng trong lễ cúng tổ tiên. Trong dịp Tết Trung thu, con phố này còn bày bán những món đồ chơi bằng giấy cho trẻ em như lồng đèn xoay, lồng đèn giấy, lồng đèn cá chép hóa rồng, đầu sư tử, voi giấy, hình nộm ngựa, tiến sĩ bằng giấy.
Trên phố Hàng Mã còn có một số công trình kiến trúc cổ như đình làng Bình Thái sau này đổi tên thành Vĩnh Hành, tọa lạc tại số 19 phố Hàng Đường. Đình An Phú ở số 56 phố Hàng Mã (đình nối với số 17 phố Hàng Rươi).
Những ngôi nhà trên phố Hàng Mã cũng mang phong cách kiến trúc đặc trưng của khu phố cổ Hà Nội bao gồm nhà hình ống và nhà mái thái kép. Nhà hình ống tuy hẹp nhưng người dân đã khéo léo phân chia nơi sinh hoạt, thờ cúng tổ tiên, sản xuất kinh doanh khá hợp lý. Nhà mái thái kép là kiểu nhà hai tầng có cửa giả hoặc cửa sổ nhỏ mở ra đường, mái ngói dốc ra đường cũng như nhịp lớn che mưa che nắng cho cửa hàng.
Phố Hàng Mã ngày nay vẫn nhộn nhịp như xưa, nhất là trong một tháng trước ngày Rằm tháng Bảy âm lịch, Tết Trung thu và từ ngày 24 Tết (sau Tết Ông Công - Ông Táo) đến trưa ngày 30 tháng 12 âm lịch. Người dân đi mua sắm các loại giấy nhang để cúng tổ tiên cũng như đồ chơi và các vật phẩm tốt nhất nhân dịp Tết Trung thu và Giáng sinh.
Không chỉ trong những ngày lễ hay Tết Nguyên Đán, phố Hàng Mã vào những ngày bình thường cũng rất lộng lẫy với những món đồ trang trí đủ màu sắc lấp lánh được treo dọc con phố. Đây là địa điểm chụp hình lý tưởng của nhiều nhiếp ảnh gia trẻ và du khách khi đến Hà Nội.