汤泉行宫初步建成是在清康熙年间。康熙皇帝重视温泉疗养，修建了四座著名的汤泉行宫，分别是：赤城汤泉行宫、遵化汤泉行宫、昌平小汤山汤泉行宫、承德六沟汤泉行宫，除此之外他还亲自到过二十二处温泉。汪灏在《随銮纪恩》中记载到康熙所言：“朕所历汤泉，如遵化马兰峪，独石口，昌平及塞外，近者哈贝，远者索约儿，凡二十二处。所至俱令西洋人以银碗盛水重汤煎之，侠水干，验其底，或硫或硝，或盐或碱，各处不同，大抵坐汤可舒筋骨，兼疗人病。” 

在康熙三年(1664年)春二月，康熙皇帝下令在小汤山汤泉行宫前的宫区修建两座长方形的甃池，这两座甃池被命名为大汤泉。汤泉行宫的正式修建是在康熙五十四年(1716年)，因是大汤泉池泉水涌动不息、池水四溢，康熙皇帝令工部进行泉水疏浚并将温泉水引向了各个房间，遂建行宫。

乾隆扩建行宫时，对后山北泉周围的大面积湿地进行彻底清挖疏浚，形成约50亩湖面，称后海，挖出的淤泥就势堆放在后海四周，自然形成土坡，并精心设计了湖心岛。湖心岛由东西二岛组成，中间有一小石桥相连。全岛与湖岸依五行之说，由怀碧、枫叶、鱼泉、龙泉、东坡五桥相连。湖心岛设计成大小二龟形，怀碧桥为大龟之口，从高处俯瞰，呈二龟凫水之势，以取福寿万年之意。

在清朝乾隆年间，小汤山汤泉行宫成为了乾隆皇帝北巡和祭祀陵墓途中的重要行宫之一，同时比之康熙时期的汤泉行宫进行了再次扩建。据《内务府奏销档》记载：其房屋建筑有“大小房、亭子三百九十间，游廊二百六十三间。”清乾隆年间汤泉行宫修建了后苑的主建筑群中的屏扆山“竹竿山”，竹竿山是一座土石山，因为被翠竹环绕而得名。山顶后部的岩石壁上刻有乾隆皇帝御笔“九华分秀”。至此汤山行宫的建造已经达到了鼎盛格局，其中包括宫苑建筑、自然山水、植物景观和设施基础等方面的全面提升和完善。

行宫整体呈倒“凸”字形，分为前宫和后宫，前宫在南，后宫在北。整体布局宛如一条坐北面南的盘龙。这种龙形于外、藏龟于内的建筑设计理念蕴含了特殊的含义。龙行天下，四海皆安，龟寓意长寿，长长久久，龙与龟巧妙融为一体，寓意健康长寿。

1900年八国联军侵华，攻占北京后，万园之园的圆明园和小汤山汤泉行宫一同被八国联军摧毁，大部分建筑和植物惨遭焚毁，昔日的“竹竿山”因焚烧只剩下黑灰色的枯石。从那时起，曾经辉煌的汤山行宫就再也没有了昔日的光彩。随着清朝的覆灭，汤山行宫也渐渐淡出了历史的舞台。