赵尔康出生于1941年5月26日，毕业于中央戏剧学院表演系，先后在青海省话剧团、二炮文工团、北京电影制片厂等单位工作，一级演员，享受国务院专家津贴。
1979年，他成功在银幕上塑造《归心似箭》中的魏德胜一角而被观众熟知。剧中的女主角是著名演员斯琴高娃。
铮铮硬汉令他声誉鹊起。他还出演过许多影视作品，如《漩涡里的歌》《特殊身份的警官》《石像的追寻》《知音》《马可·波罗》《残月》《骑士的荣誉》《阙里人家》《老娘土》《永不磨灭的番号》等，在中国影坛有“银幕硬汉”之美誉。他还曾搭档李连杰主演《中华英雄》，该片是李连杰第一次自导自演的影片。
他近年来身体一直不好，卧床已久。著名导演朱丹得知赵尔康去世后，心情沉痛，“我们合作过多部电影，最后一部是《天刃》，他只有4场戏，扮演一个给警方提供线索的线人，但他非常敬业认真，大家对他很尊敬。”朱丹还透露，当时已感觉到老人家身体并不是很好，但他一直在坚持，“希望赵老师一路走好”。
赵尔康去世的消息传开后，中国电影股份有限公司副董事长、总经理江平发朋友圈宣布噩耗，他受赵尔康儿子的委托公开了赵尔康的后事安排以及去世原因。
赵尔康逐渐淡出演艺圈后，其子赵少康继承了父亲的事业， 陆续出演了《集结号》《风雨西关》《战北平》 等剧，是一位优秀又低调的演员。
赵尔康据赵少康透露，赵尔康是因新冠引发肺部感染，经抢救无效去世。一代老艺术家与世长辞，实在令人唏嘘。