L'Enfant称被选为未来国会大厦所在地的山丘为"Jenkins Hill"或"Jenkins Heights"。然而,这块土地多年来一直属于卡罗尔家族,在他们的所有权记录中被注明为"新特洛伊"。有人说,一个叫詹金斯的人曾经在国会大厦的遗址上放牧过一些牲畜(因此他的名字与该遗址有关),艺术家约翰-特伦布尔(John Trumbull)将在国会大厦圆形大厅内绘制几幅壁画,他在1791年报告说,该遗址被厚厚的木材覆盖,因此不太可能成为牲畜放牧的地方。据L'Enfant报道,没有人知道Jenkins是谁,也没有人知道他的名字是如何与这座山丘联系在一起的。
当政府开始在国会大厦和华盛顿海军船坞这两个地方工作时,现在被称为国会山的社区开始发展。1799年至1810年间,随着联邦政府成为主要雇主,这里成为一个独特的社区。其早期历史的第一个阶段是为国会议员开发的寄宿屋社区。在共和国的早期,很少有国会议员希望在这个城市建立永久的住所。相反,大多数人更愿意住在距离国会大厦步行距离内的板房里。
1799年,华盛顿海军船坞在阿纳卡斯蒂亚河畔建立,为造船和修船的工匠提供了工作机会。许多既受雇于海军船厂又受雇于国会大厦建设的工匠都选择住在国会大厦以东、海军船厂以北的步行距离内。他们成为了附近最初的居住人口。1806年,托马斯-杰斐逊总统选定了海军陆战队兵营的位置,它必须在国会大厦和白宫的行军距离内,离华盛顿海军场不远。到了1810年,该地区的商店、金匠、铁匠和教堂都很兴旺。
内战导致了国会山地区更多的建筑,包括新医院。19世纪70年代和80年代继续建造新房。邻近地区开始按种族和经济阶级划分。
电力、自来水和管道在19世纪90年代被引入,并首先在哥伦比亚特区的市中心地区提供,包括国会山。1890年至1910年期间,随着国会山地区成为首批拥有这些现代便利设施的社区之一,出现了房地产开发热潮。
1976年,国家公园管理局将国会山历史区列入《国家历史遗址名录》。它是美国最大的历史街区之一。该历史区的边界不规则,从东北F街向南延伸,东至第14街,西至南国会街,南端主要以弗吉尼亚大道为标志,但也包括南至东南M街的一些区域。它包括联邦时期(1800年至1820年)至1919年的建筑,但大多数建筑是维多利亚时代后期的建筑。
国会山自始至终都是一个相当稳定的中产阶级社区。20世纪中叶,它经历了一段经济衰退和犯罪率上升的时期,但逐渐恢复。在20世纪80年代所谓的"Crack Epidemic"期间,其边缘地区经常受到影响。最近,该街区经历了激烈的贫民化。