Cột đá thề nằm trên đỉnh núi Nghĩa Lĩnh, bên phải đền Thượng. Theo tích xưa, Hùng Vương thứ 18 không có con trai, nghe lời con rể là Tản Viên nhường ngôi cho người cháu họ là Thục Phán. Cảm kích, Thục Phán dựng cột đá trên đỉnh núi Nghĩa Lĩnh thề: Nước Nam sẽ trường tồn, miếu thờ Hùng Vương sẽ còn mãi.
Tuy nhiên, dấu tích cột đá nguyên bản đã thất lạc. Năm 1968, cột đá thề được dựng mới như một biểu tượng đoàn kết dân tộc. Năm 2010, các chuyên gia tìm được cột đá bằng mã não nguyên khối, có khả năng trường tồn với thời gian, thay thế cột đá thề trước đó.