衡阳站有旅客站台4座，地道4座，有零担货场、整车货场、集装箱货场各1个，装卸作业所拥有各种作业机械42台。车站总延长里程为48公里，南北两场共有49股道，其中到发线15股，编组线14股，存车线20股；设有信号机122架，其中列车信号机45架，调车信号机77架；道岔232付，其中电气集中联锁道岔158付，驼峰电气集中道岔14付，手动道岔60付；有4条货物线，共14股道；专用线12条共72股；设有轨道电路区段124个。