Tòa nhà được bắt đầu xây dựng vào mùa hè năm 1825 và hoàn thành vào năm 1826 dưới thời vua Minh Mạng. Triều đình đã giao cho Thự Thống chế Đoàn Đức Luận đứng ra điều khiển việc thi công với 1000 binh lính tại Kinh đô. Được xây bằng gạch và đá, tòa nhà gồm 2 tầng: tầng dưới 11 gian, tầng trên 7 gian 2 chái. Nó nằm trên một hòn đảo có mặt bằng hình chữ nhật. Xung quanh đảo xây tường ngăn bằng gạch.

Đảo nằm giữa một cái hồ nhân tạo khá lớn, gọi là hồ Ngọc Hải, thường được dân chúng địa phương gọi là hồ Tàng Thơ. Hồ này chỉ cách hồ Tịnh Tâm bằng một con đường (nay là đường Đinh Tiên Hoàng). Dưới con đường ấy, có đặt ống cống ngầm để nước ở hai hồ lưu thông với nhau, nối thông thương với Ngự Hà qua một cống khác. Đảo chỉ nối với đất liền bằng một chiếc cầu đá duy nhất.

Tất cả các sổ sách của 6 Bộ và các Nha sau từng năm đều được chuyển đến lầu Tàng Thơ để cất giữ. Về sổ sách thuộc Bộ Hộ, chỉ riêng số địa bạ thời Gia Long và Minh Mạng, ở đây đã lưu trữ đến 12.000 tập. Vào năm 1942, một chuyên gia lưu trữ người Pháp, Paul Boudet, đã đến đây tìm hiểu và viết rằng các tài liệu ở lầu Tàng Thơ có thể cung cấp những thông tin rất quí cho các nhà sử học và kinh tế học.

Tấm bia đá khắc dựng tại lầu Tàng Thơ vào năm 1826 không còn trên thực địa nữa. Nhưng chúng tôi may mắn được tiếp cận với bản dập của tấm bia ấy do chính quyền Đông Dương tổ chức thực hiện vào khoảng những năm 1925 - 1945 cùng với hơn 21.000 tấm bia khác trong cả nước và hiện nay đang được lưu trữ tại Viện Nghiên cứu Hán Nôm ở Hà Nội.

Bài văn bia "Tàng Thư Lâu ký" đã do một vị đại thần (có lẽ là Thự Thống chế Đoàn Đức Luận) được vua Minh Mạng giao viết và cho khắc chữ dựng bia vào thời điểm hoàntất công trình. Xin trích dịch một số đoạn của bài văn bia: "Thần nghe nói rằng sở dĩ sách vở của nước nhà để lại phép tắc cho đến nay, là nhờ có kho cất giữ chung ở một số nơi cẩn thận, tránh xa nước và lửa để có thể truyền lại lâu dài về sau...

"Nay kính vâng theo ý của Hoàng thượng...hạ lệnh xây dựng tòa nhà lầu này ở phía đông bắc của Hoàng thành..."

"Sau khi xây xong, Hoàng thượng hạ lệnh cho các quan chuyên trách kiểm kê, lựa sổ sách, chọn ngày lành, chuyển đến tầng trên của tòa nhà lầu..."

"Tòa nhà lầu được xây dựng là để làm nơi tàng trữ sổ sách cho nên kính cẩn đặt tên như thế."

"Ngày tốt, tháng mạnh đông, năm Bính Tuất, năm Minh Mạng thứ 7" (tức là tháng 11/1826).

Như vậy, chức năng của lầu Tàng Thơ triều Nguyễn cũng tương tự như chức năng của một kho lưu trữ quốc gia ngày nay (hiện có 3 kho lưu trữ Nhà nước tại Hà Nội, đều trực thuộc Cục Lưu trữ). Lầu Tàng Thơ đã làm tròn nhiệm vụ văn hóa mà Nhà nước quân chủ đã giao cho nó từ năm 1826 đến năm 1947 một cách tốt đẹp.

Các nhà kiến trúc thời Minh Mạng đã thiết kế và xây dựng lầu Tàng Thơ một cách hợp lý và khoa học. Hàng vạn tập văn kiện bằng giấy bổi rất dễ cháy và dễ bị mối mọt. Họ đã xây tòa nhà giữa mặt hồ, cách ly với đất liền, chỉ thông thương qua một cầu đá. Triều đình còn cho rải chất lưu huỳnh trên mặt đất ở tầng dưới để trừ khử mối mọt kiến gián. Ở tầng trên, nơi chứa tư liệu, chung quanh trổ nhiều cửa để không khí luân lưu ra vào, tránh được sự ẩm mốc cho sổ sách. Xây tòa nhà trên đảo là cách tránh sự lây lan của hỏa họan có thể xảy ra trên đất liền, và là cách bảo vệ tư liệu gốc của quốc gia khỏi bị thất thoát.

Nhưng, cơ quan lưu trữ ấy đã ngưng họat động sau thời điểm Pháp tái chiếm Huế (tháng 2/1947). Năm 1947, toàn bộ địa bạ và điền bạ ở lầu Tàng Thơ được chuyển Viện Văn hóa đóng tại trường Quốc Tử Giám cũ. Năm 1963, khối tư liệu khổng lồ đó cùng với những loại tư liệu quí báu khác của triều Nguyễn đã được chuyển lên Đà Lạt để dễ bảo quản. Năm 1978, nó được đưa về Sài Gòn, rồi năm 1991, được chở ra Hà Nội.

Hiện nay, Lầu Tàng Thơ do Trung tâm Bảo tồn di tích Cố Đô Huế quản lý và hiện tổ chức không gian Tàng Thơ Lâu và giới thiệu nguồn thư tịch của triều Nguyễn. Tàng Thơ Lâu sẽ là địa chỉ để nghiên cứu, bảo tồn và lưu giữ bền vững các di sản (Mộc bản triều Nguyễn, Châu bản triều Nguyễn và Thơ văn trên kiến trúc cung đình) cho tương lai. Một trung tâm lưu trữ tư liệu, một trung tâm nghiên cứu về di sản văn hóa của cố đô Huế đã được hình thành, và trong tương lai, đây sẽ trở thành một trung tâm để kết nối các giá trị của quá khứ đến cuộc sống đương đại. Với ý nghĩa ấy, lầu Tàng Thơ không chỉ là nơi cất giữ tài liệu như tên gọi, mà thực sự sẽ là nơi bảo tồn và phát huy một loại hình di sản đặc thù của cố đô Huế - di sản tư liệu.