但经过巨人大厦的失利，他给自己确定的投资首要原则是谨慎。
多方交流，银行业清晰的商业模式和稳定的发展吸引史玉柱的关注，而且他认为全国性的银行不会破产，因为背靠国家。另外，银行股非常适合大资金进出，上市银行股权很容易质押，急需资金兑现也方便。如果能做银行的较大股东，取得董事会席位，对未来自身的融资需求也有很大帮助。
不过史玉柱首先投资的是华夏银行。2002年，他的老朋友段永基任四通集团董事长，由于欠款，四通集团抵押的6000万股华夏银行股份被法院冻结要拍卖。史玉柱替段永基还清账款，换得华夏的股份。并开始在对华夏银行进行投资。截至目前，史玉柱持有华夏银行8957万股，占比1.79%，位列第九大股东。
入股民生银行则与史玉柱的另外一个朋友冯仑有关。2003年9月，冯仑旗下的北京万通实业股份有限公司正筹备上市。作为房地产公司，投行认为参股银行会使得公司很难获得好的估价。史玉柱再次出手从冯仑手中买下了1.43亿股民生银行国内法人股，交易价格为1.43亿元。当时民生银行的流通股股价为8元左右。虽然法人股无法流通，但是1元/股的转让价格让史玉柱决定出手，其实际控制的上海健特成为了民生银行非流通股的第八大股东，持股比例占非流通股的3.75%。
2005年民生银行股改，用资本公积金向全体股东每10股转增股本1.55股，又向非流通股股东转增股份约6.74亿股作为对价，以换取上市流通权。据此计算，每10股流通股将成为15.02股，其中增加的1.55股为转增股份，3.47股为非流通股股东支付的对价股份。即作为原先法人股持有者的上海健特获得每10股转增5.02股的对价，成为了流通股。史玉柱每股仅1元的1.43亿原始股，增至2.15亿股，每股5.8元。
2007年6月，史玉柱又借民生银行a股首次定向增发的机会认购了3.09亿股。定增后，上海健特持有6.98亿股。除权后，定增价为每股7.63 元，较民生银行股权登记日前30个交易日12.4元的平均价折价38.5%。此后，又经多次送股，2008年上半年史玉柱持有民生银行a股达9.07亿股，持股比例为4.82%。
为何对民生银行青睐有加？史玉柱曾经在微博上给出理由：“1.民生是全国唯一分行无贷款权的银行，风控超强，坏账率低。2.民生三年前就做好迎接利率市场化准备，中间业务收入比重逐年大幅提升，产业链打造已成规模。3.正在二次腾飞，去年效益赶超了兴业和浦发，今年会赶超中信，明年下半年赶上招商，成为股份商业银行老大。”
但史玉柱也没有一味增持银行股。2008年金融危机爆发，史玉柱谨慎地选择大量减持银行股票，他解释原因为“抱着现金过冬”。
