由于上軋輥及其軸承座以及壓下螺絲自重的影響;在軋件未進入軋輥之前，上扎輥及其軸承座與壓下螺絲之間，以及壓下螺絲和壓下螺母之間有間隙存在。這些間隙使扎件在進入軋輥時產生很大的沖擊，惡化了軋機的工作條件。為了防止這種沖擊，幾乎所有軋機（二棍疊軋薄板軋機除外）都設有上輥平衡裝置。通過平衡裝置，在上軋輥的下軸承座上沿垂直方向施加平衡力Q，其值為被平衡零件總重量G的1.2-1.4倍，以消除上述間隙。
采用最廣泛的平衡方法有四種，即：普通的彈簧平衡，用支承在與上軋輥同時做等速運動的反扣螺帽上的彈簧平衡，重錘平衡，以及液壓平衡。
1、普通彈簧平衡 普通彈簧平衡主要用于上輥很少運動或移動量很小（不大于50-100mm）的軋機上。孔型位置不變的型鋼軋機多用這種平衡方式。彈簧放在機架蓋的上部（每邊兩個），上軋輥下瓦座通過拉桿吊掛在平衡彈簧上。當上軋輥下降時，彈簧受壓縮，上升時放松。因此彈簧的平衡力是變化的，彈簧越長，平衡力越穩定。這種平衡方式的優點是結構簡單可靠。
2、用支承在與上軋輥同時作等速移動的反扣螺帽上的彈簧平衡  這種結構的平衡裝置用于舊時的中板軋機上。由于該方式結構復雜，維護不方便，并且其在高度方向的尺寸很大，要求廠房高度較高，因此近幾年來已被液壓平衡所淘汰。
3、重錘平衡  重錘平衡裝置廣泛用于上輥移動量很大且移動較頻繁的軋機上。這種平衡裝置是利用杠桿，通過托梁，頂桿，將重錘的平衡力傳給上軋輥軸承座的。平衡錘通常裝在工作機座的下面。采用重錘平衡，結構簡單，調整高度大，工作較為可靠。但由于機座下部裝上了笨重的平衡錘，使基礎加深并變得復雜。在我國，初軋機的上軋輥一般采用重錘平衡
4、液壓平衡   液壓平衡裝置廣泛用于二棍及四輥板帶軋剛機與某些初軋機，其優點是調整部分的結構緊湊，容易操作，換輥與檢修比較方便；其缺點是需要一套專用的液壓泵站，投資較大，同時在車間中要留有場地來安防這種裝置，并且要設專人管理與維修;此外，在寒冷地區，需要用乳化液或較貴的錠子油等做工作介質。