Đền Kỳ Sầm tọa lạc trên một quả đồi thấp, sát chân núi Khau Sầm thuộc thôn Bản Ngần, xã Vĩnh Quang (Thành phố). Ngôi đền thờ nhân vật lịch sử, danh tướng Nùng Trí Cao (1025 - 1053), dưới triều vua Lý Thái Tông. Một trong những ngôi đền được nhân dân xây dựng từ lâu và trải qua trùng tu, tôn tạo nhiều lần, có quy mô lớn vào bậc nhất trong các loại hình đền, chùa, miếu trên địa bàn tỉnh.

    Lễ hội đền Kỳ Sầm được khai hội từ tối mùng 9 và ngày mồng 10 tháng giêng hằng năm.  Đây là dịp để mọi người đi vãn cảnh và hái lộc đầu năm. Tại đêm khai hội, đúng 23h30 phút, các nghi lễ theo hình thức truyền thống được tiến hành.  Sau hồi trống, kèn, các nam thanh, nữ tú dâng lễ vào chùa. Các cụ cao niên tiến hành nghi lễ dâng rượu, đọc sớ lễ cầu cho quốc thái, dân an, mưa thuận, gió hòa, mùa màng bội thu, quê hương giàu mạnh, mong một năm mới toàn thể nhân dân có nhiều sức khỏe, gặp nhiều may mắn. Theo ghi nhận, đã có hàng nghìn người dân và du khách thập phương đến Đền thắp hương, xin lộc cầu cho một năm mới mạnh khỏe, bình an, phát tài, phát lộc, an khang thịnh vượng.  

     Đền được xây dựng trên một khuôn viên rộng, kiến trúc hình chữ “nhị”, mang dáng dấp phong cách kiến trúc thời nhà Nguyễn, có nhà bái đường và hậu cung. Tại nhà bái đường có một ban thờ. Phía trong hậu cung có ba ban thờ, chính giữa thờ Nùng Trí Cao, bên trái thờ mẹ A Nùng, bên phải thờ ba người vợ: Vương Lan Anh, Đoàn Hồng Ngọc, Trần Thị Cẩm. Quá trình gây dựng ngôi đền, với lòng ngưỡng mộ vị dũng tướng, nhân dân đã cung tiến một số đồ thờ quý, như đôi hạc bằng đồng, một số lư hương, chuông đồng…, trong khuôn viên được quy hoạch trồng nhiều cây cảnh bên cạnh các cây đa cổ thụ xum xuê, làm cho ngôi đền thêm trầm mặc, linh thiêng. 

      Nùng Trí Cao sinh năm 1025, là con của Nùng Tồn Phúc, thủ lĩnh châu Thảng Do. Ngay từ thuở thiếu thời, Nùng Trí Cao là một cậu bé khỏe mạnh, đẹp trai, hiếu động, thông minh lạ thường, học giỏi chữ nghĩa, võ nghệ như bẩm sinh. Năm 1038, Nùng Tồn Phúc chiếm hai châu Vũ Lặc và Quảng Nguyên, lập nên nước Trường Sinh, tự xưng là Chiêu thánh Hoàng đế, lập vợ A Nùng làm Minh Đức Hoàng hậu, cát cứ một phương, án ngữ một vùng biên viễn rộng lớn phía Đông Bắc nước ta. Năm 1039, vua Lý Thái Tông thân chinh dẫn đại quân đi dẹp nước Trường Sinh, Nùng Tồn Phúc và con trưởng Nùng Trí Thông bị bắt về kinh đô xử tử. A Nùng và con thứ Nùng Trí Cao chạy đến động Lôi Hỏa, thuộc địa phận tỉnh Quảng Tây (Trung Quốc) ngày nay. Tại đây, hai mẹ con khẩn trương tập hợp quân sĩ, ngày đêm rèn luyện võ nghệ, xây dựng lực lượng binh đao, ngựa chiến. 

       Năm 1041, khi đó Nùng Trí Cao 16 tuổi đã cùng mẹ A Nùng dẫn binh từ động Lôi Hỏa chiếm lại châu Thảng Do, lập nên nước Đại Lịch. Triều Lý cử đại quân lên đánh và bắt được Nùng Trí Cao dẫn về kinh đô. Sau khi xem xét, nhận định tình thế, cần trấn yên vùng biên, bảo vệ lãnh địa quốc gia, vua nhà Lý miễn tội cho Nùng Trí Cao và tiếp tục cho quản lý châu Thảng Do; đồng thời, ban cho thẩm quyền cai quản thêm một vùng rộng lớn, gồm các động: Lôi Hỏa, Bình, Bà và châu Tư Lang, sắc phong Nùng Trí Cao làm châu mục Quảng Nguyên. Năm 1043, vua Lý Thái Tông sai người đến châu Quảng Nguyên ban sắc phong cho Nùng Trí Cao chức Thái Bảo, một trong ba tước quan cao cấp nhất triều đình và giao cả đô ấn. Năm 1048, Nùng Trí Cao khởi binh ở động Vật Ác, đánh chiếm châu An Đức, thuộc đất nhà Tống (Trung Quốc) làm căn cứ địa. Hai năm sau (1050), thừa thế binh hùng tướng mạnh, Nùng Trí Cao đánh chiếm động Vật Dương (thuộc đất Tống), rồi xưng vương, lập Nam Thiên Quốc, lấy niên hiệu là Cảnh Thụy. Chiến công kế tiếp chiến công, cương vực bờ cõi rộng mở nhanh chóng. Tuy vậy, Trí Cao vẫn có ý giảng hòa với nhà Tống, năm 1051 cho người đem châu báu, vàng bạc, ngà voi đến biếu cống nhưng bị triều đình Tống khước từ.

     Trước tình thế đó, năm 1052, Nùng Trí Cao dẫn 5.000 quân tiến đánh thành Ung Châu và Quảng Châu. Sau khi làm chủ Ung Châu, Trí Cao tự xưng là Nhân Huệ Hoàng đế; đổi niên hiệu là Khải Lịch, quốc hiệu là Đại Nam. Trí Cao ra lệnh phá nhà tù, đại xá tù nhân, mở các kho hậu cần, lương thực của quân Tống phân phát cho dân nghèo. Do đó, lực lượng của Trí Cao phát triển mạnh mẽ.
Năm 1053, nhà Tống cử Địch Thanh - một viên tướng nổi tiếng triều đình dẫn đầu đại quân hùng hổ đi đánh quân Nùng Trí Cao. Lần này, Trí Cao bại trận phải chạy đến vùng đất Đại Lý, thuộc tỉnh Vân Nam (Trung Quốc) ngày nay. Nùng Trí Cao sai Lương Châu về kinh đô cầu viện nhà Lý nhưng không thể cứu vãn nổi tình thế. 

     Để tưởng nhớ ơn đức của Nùng Trí Cao, nhân dân nhiều nơi lập miếu thờ phụng. Nhà Lý đặc chiếu sắc phong Trí Cao là Khau Sầm Đại Vương và lập đền thờ tại thôn Bản Ngần, xã Tượng Lặc, châu Thạch Lâm (nay là thôn Bản Ngần, xã Vĩnh Quang, thành phố Cao Bằng). Đền thờ được nhà Lý phong Thượng Đẳng thần, xuân thu nhị kỳ quốc tế; các triều đại sau gia phong mỹ tự: Khau Sầm tế thế, an dân hãn ngoại, ninh thủy trấn dịch, anh nghị quả đoán hiển ứng thùy hưu, hộ quốc an dân Đại Vương. Đền thờ Nùng Trí Cao được Nhà nước xếp hạng Di tích lịch sử cấp quốc gia năm 1993.