Theo truyền thuyết, ban đầu ngôi đình chỉ là một ngôi miếu nhỏ được xây dựng sau khi Lý Ông Trọng mất. Năm Trinh Nguyên đầu tiên của triều đại nhà Đường Trung Quốc (785 sau Công Nguyên), Triệu Sướng, người được cử làm thống sứ An Nam, bấy giờ là thuộc địa của Trung Quốc, cảm thấy kính trọng công lao của ông, đã ra lệnh xây dựng lại ngôi đền. Năm 864, Cao Biền đến An Nam đô hộ phủ và ra lệnh mở rộng ngôi đền thành một công trình quy mô hoành tráng hơn nữa; tạc tượng gỗ sơn son thếp vàng và đặt lại tên là đền thờ Lý Hiếu Uy.
Đình Chèm được xây dựng theo lối kiến trúc thông dụng và tinh xảo nhất là “nội công ngoại quốc”, hình dáng bên trong giống như hình chữ Công (工) bao quanh bởi một hình chữ nhật (口). Cổng ngoài gồm bốn cột cao được trang trí bằng đèn lồng trên đỉnh. Những chiếc đèn lồng được vẽ hình tứ linh và tứ quý miêu tả cảnh sắc bốn mùa.
Bên trong đình được trang trí bằng những câu đối bằng chữ Hán ca ngợi công lao của Lý Ông Trọng. Cổng nội (còn gọi là Tàu tượng) là một ngôi nhà bốn mái, ba gian, hai chái lợp ngói hình mũi giày. Các góc mái được uốn cong theo hình lưỡi mác và chạm khắc hình đầu rồng. Cổng tam quan bên trong bằng gỗ có thể mở tới tận chỗ đặt tượng voi chiến và ngựa.
Kết cấu theo kiểu chữ I bao gồm buồng bia, sân đình, hai dãy buồng song song hai bên sân đình phía trước là gian thờ chính, nhà vuông tám mái, chính điện và nhà sau (hay hậu cung, nơi đặt tượng Thánh).
Khu chính của đình gồm tiền tế và chính điện. Hai công trình này có cấu trúc tương tự nhau và được liên kết với nhau bằng hệ thống dầm đỡ. Mỗi dãy gồm 5 gian, 2 chái, theo kiểu nhà cấp 4 mái ngói. Nội thất có 6 hàng cột chống bằng gỗ đặt trên các đế bằng đá xanh để giữ mái.
Trên các vì kèo ngắn có chạm trổ các hình tượng rồng mây, cá chép hóa rồng, tứ linh theo phong cách mỹ thuật thời Hậu Lê thế kỷ 18. Đây không chỉ là nơi đặt bàn thờ và các hạng mục quan trọng của đình mà còn là nơi diễn ra các nghi lễ lớn hàng năm.
Nhà sau thông với gian thờ chính qua một gian nhà nhỏ ở giữa. Nhà hậu gồm ba dãy nhà nối với nhau tạo thành kết cấu hình chữ “Công” (工). Nhà ngoài và nhà trong nằm song song, ngăn cách ở giữa bằng “ống soi” - khu nhà phụ nối giữa Bái đường (buồng tôn kính) và sảnh tôn nghiêm. Đây là nơi linh thiêng nhất trong đình Chèm.
Ngai vàng và các tượng Đức Ông, Đức Bà (hai vị đã hiến đất xây dựng chùa) cao 3,2m cũng được đặt tại đây. Ngoài ra ở hai bên còn có tượng sáu người con của Thánh ông. Tương truyền, Thánh Lý Ông Trọng đứng hàng thứ ba sau Thánh Tản Viên và Thánh Gióng trong tín ngưỡng dân gian của Việt Nam.
Hiện nay, đình Chèm còn lưu giữ được nhiều hiện vật có giá trị lịch sử và nghệ thuật bao gồm 16 cuốn thư chữ Hán, 4 bia đá, 10 pho tượng, hoành phi cổ, , 15 câu đối, 2 lư đồng, chuông đúc thời Nguyễn; đồ thờ có giá trị như: 8 ban thờ, 4 ngai hương, long ngai bài vị (ban thờ vua chúa), bát hương, đèn cầy, tượng phượng, kiệu thờ, sập thờ, cỗ xe, bình sứ, bình gốm, v.v.
Đặc biệt, đình Chèm hiện còn lưu giữ được chiếc lư hương nghìn năm tuổi và cây thiên tuế quý hiếm hay hệ thống máng nước mưa được đúc bằng đồng vào các năm 1748 và 1756 dưới thời vua Lê Hiển Tông và năm 1824 dưới triều vua Minh Mạng nhà Nguyễn. Toàn bộ di tích trong đền được bố trí theo trục hoàng đạo: Đông Bắc Tây Nam.
Năm 1990, đình Chèm được công nhận là Di tích lịch sử - văn hóa cấp quốc gia theo Quyết định số 34 / VH / QĐ ngày 09/01/1990 của Bộ Văn hóa, Thể thao và Du lịch.