Nguyên từ thời chúa Nguyễn (1558-1775), các cuộc đấu giữa voi và hổ đã được tổ chức như một trò tiêu khiển dành cho những người đứng đầu Đàng trong. Các cuộc đấu lúc ấy thường được tổ chức ở cồn Dã Viên, trên dòng sông Hương. Dưới thời Gia Long và đầu thời Minh Mạng các cuộc đấu giữa voi và hổ thường được tổ chức ở dải đất trước mặt kinh thành, sát bờ sông. Về sau, do thấy nó quá nguy hiểm với người xem nên năm 1830, vua Minh Mạng đã cho xây Hổ Quyền tại vị trí ngày nay.

Hổ Quyền là một đấu trường hình tháp cụt, đường kính đáy 44m, vòng tường đấu của đấu trường được xây bằng đá và gạch vồ, chu vi bên ngoài là 140m. thân tường xây làm hai lớp, lớp ngoài và lớp trong đều dày 0,5m, ở giữa nén một lớp đất dày. Chiều dày tổng cộng của cả thân tường, bên dưới 5m, bên trên 4m. Mặt tường có bố trí khán đài và lối đi dành cho khán giả. Khán đài ở phía Bắc được xây cao và trang trọng có hệ thống bậc cấp dẫn lên từ bên ngoài dành cho vua. Ngay từ bên dưới khán đài chính này là cửa để voi vào đấu trường, cửa rộng 1,9m cao 4m, có hai cánh cửa gỗ rất kiên cố bảo vệ. Ở phía đối diện là 5 chuồng nhốt hổ, có cửa đóng mở bằng hệ thống dây kéo từ phía trên.

Dưới thời Nguyễn, các cuộc đấu giữa voi và hổ tại đấu trường Hổ Quyền dường như được tổ chức hàng năm. Bởi vậy, một số địa phương trong nước phải có nhiệm vụ bắt hổ còn sống để đưa về phục vụ cho các cuộc đấu này. Trong cuộc đấu giữa voi và hổ, voi luôn luôn phải chiến thắng vì chúng đại diện cho sức mạnh quyền lực của nhà vua, hổ luôn luôn bị thất bại, bị giết chết vì chúng được xem là đại diện của thế lực chống đối, của cái ác, cái xấu... Do gắn liền với ý nghĩa này nên các cuộc đấu giữa voi và hổ tại Hổ Quyền không đơn thuần chỉ là một trò tiêu khiển dành cho các vua nhà Nguyễn mà còn là dịp để họ thị uy quyền lực sức mạnh của mình. Cuộc đấu cuối cùng giữa voi và hổ được tổ chức tại Hổ Quyền vào năm 1904. Từ đó trở về sau, Hổ Quyền gần như bị bỏ hoang.

Hổ Quyền không chỉ là di tích độc đáo, đặc biệt của Việt Nam, mà còn là di tích quý hiếm của thế giới. Nằm cách di tích Hổ Quyền không xa là điện Voi Ré xây dựng vào năm 1817 dưới thời vua Gia Long. Điện Voi Ré tọa lạc trên khu đất rộng khoảng 2.000m2, vòng thành bao quanh điện rộng 44m, dài 44,6m. Hai nhà Tả Hữu Tòng Tự xây bằng nhau để thờ Voi gồm 2 gian 2 chái, dài 7,6m, rộng 6,9m; miếu Tượng dài 2,6m, rộng 2,2m; điện Long Châu cấu trúc theo kiểu “trùng thiềm điệp ốc” gồm 5 gian 2 chái, diện tích 156m2, dài 13m, rộng 12m; mộ Voi Ré và Voi Ô Long được đắp nổi hình chữ nhật, kích thước 2,5x1,4m, dựng bia bằng đá thanh. Cả hai di tích Hổ Quyền - Voi Ré đều được công nhận là di tích cấp quốc gia vào năm 1998 và là bộ phận cấu thành Quần thể di tích Cố đô Huế được UNESCO công nhận là Di sản văn hóa thế giới. 

Tuy không phải là một công trình kiến trúc cầu kỳ hay có quy mô lớn, nhưng Hổ Quyền vẫn là một di tích có giá trị về lịch sử và văn hóa. Đây thực sự là một di tích độc đáo, bởi hiếm có một nơi nào khác trên thế giới có một đấu trường tương tự.

Nhằm khai thác hiệu quả và phát huy các giá trị văn hóa, lịch sử của di tích Hổ Quyền, năm 2022 Trung tâm BTDT Cố đô Huế cùng UBND TP Huế và các đơn vị liên quan đã triển khai nhiều dự án để thực hiện tu bổ, bảo tồn cụm di tích này. Hiện nay quá trình trùng tu tôn tạo đã hoàn tất, điểm di tích này đã chính thức đón khách du lịch trở lại.