雪浪山东麓，有一古寺，倚山面东，名为横山寺，又名横山庵。始建于宋淳熙年间（1182年前后），由僧普光筹建，当时名为敬福庵。明洪武十二年（1379），僧守谦建观音阁于大殿之后。三十一年，僧道德、法弘相继重修佛殿。清顺治年间（1652年前后），僧心持增建廊房屋宇。道光年间，又一次重建。抗战时期，大悲殿被日寇付之一炬。“文革” 时期，再遭浩劫，寺院彻底被毁，寺僧被迫还俗返乡。据《开化乡志》记载：寺址原为宋代蒋一梅（重珍）故居，蒋家把它献给了寺院，过去寺院里还保存着蒋氏捨契文书。另据薛明剑1947年编著的《无锡指南》笫十七版指出：山之东麓有横山寺，宋乡贤蒋一梅故居也。
经有关部门批准，于2004年12月21日，在原址往西三十多米，原采石场废弃的宕口，开始重建横山寺，经一年时间的紧张施工，不但一座规模宏伟壮丽的大雄宝殿屹立于雪浪山下，还建成了天王殿、钟、鼓楼、香花桥、大牌楼等殿宇和有关建筑，一座初具规模的横山寺，以崭新的面貌，呈现在世人面前。
大牌楼正面正中石柱上，阳刻隶书新联一副：
龙盘雪浪，翻天覆地，欣逢盛世；
虎卧横山，立石惊空，巧得新机。
此联通俗易懂，气势宏大，立意明确，颇富新意。遗憾无上下落款，不知撰书者为何人。
现天王殿弥勒座侧，2005年夏悬一副常见抱联：
开口便笑，笑古笑今，凡事付之一笑；
大肚能容，容天容地，于人无所不容。
殿内另有抱联:
练就金刚能护法；
圆成宝座更庄严。
钟、鼓楼均为二层建筑，钟楼下层门口檐廊悬“大愿地藏王”橫额，前挂抱联一副：
钟声传三千界内；
佛法扬万亿国中。
该联平仄不合律，修改办法很简单：只要使上下联第三字之单字动词，加一字成复合动词，就能补救。如：
钟声传送三千界内；
佛法播扬万亿国中。
鼓楼下层门口檐廊悬“伽蓝护法”匾额，前侧抱联为：
法鼓播闻宣善念；
梵音唤觉净凡心。
此联2007年由无锡书家辛德甫隶书。
现大雄宝殿前檐廊里，前后有三副抱联，前为2005年查理达所书之佚名联：
祥云浮雪浪，紫气常腾三宝地；
慧日悬橫山，灵光普照万家春。
后为：
三宝重光，看初地庄严，诸天欢喜;
十方大庇，有慈云布护，法雨沾濡。
上联中间一段“初地” 疑应“福地” ，可能是书写者笔误。此联是2005年秋处暑后五日，上海周喜x沐手恭书。
前侧抱联：
真实不虚大慈悲，度一切苦惱；
意识无戒空色相，现五蕴光明。
此联平仄有瑕疵。2005年夏，由香草居士程堃书。
殿内有抱联三副，其一为：
莲座护祥云，梵宇宏开豋净域；
檀林施法雨，慧光普照证圆融。
其二：
五蕴光明，禅风送瑞藏灵谛；
十方普照，佛日呈祥显圣观。
此联由梁溪浦耕霖撰书。
其三：
雪浪十重，禅味得真如之境；
涅槃三世，迷尘渡般若之航。
此联为原雪浪庵旧联，现由胡根金书之。
现观音殿檐廊有抱联：
永使苍生离苦海；
常教赤子有慈航。
下联第二字处应为平声，而“教”为仄声，不妥。改为“为” 即可。
对面地藏殿门口檐廊现悬抱联：
掌上明珠，破痴云于冥府；
手中金锡，揭慧日于幽都。
文殊殿楼上檐廊抱联：
纵为七佛师，橫表五方智；
根在金色界，花开雪浪山。
本联采用自对手法，可惜笫四字都为仄声，略有小毛病。
普贤殿楼上檐廊抱联：
普贤愿王渡众生，导归极乐；
菩提心切弘佛道，反入娑婆，
此联连对仗都成问题。
原横山寺中，有一座三世佛殿，是按佛经中的“三世怨”经典而构建的一个佛殿。所谓“三世怨”，其意思是：今世的好日子是前世修来的，如果今世满足了，不修了，来世变囬原样，好日子就不再有了。这是劝人为善。殿上原悬有这祥的一副抱联（实即雪浪庵之联）：
大千世界本微尘，看满眼沧桑，方知即色即空，即空即色；
十万烟华如昨梦，问当头明月，可是无人无我，无我无人。