虞世南生性沉静寡欲,意志坚定,努力学习,年少时与兄长虞世基一起在著名文学家顾野王的门下读书,受学十多年,他勤奋努力精思不懈,有时十几天不洗脸不梳头。
陈文帝天嘉二年(561年),虞世南的父亲虞荔去世,当时虞世南还年幼,因悲哀过度瘦损得几乎承受不住丧服。陈文帝知道虞荔的两个儿子博学,常从宫中派使者到他们家里去扶助卫护他们。
陈后主至德元年(583年),除任西阳王友。开皇九年(589年),陈朝灭亡后,虞世南与虞世基一起到隋朝京师长安,兄弟二人都名重一时,当时的人把他们比作西晋的陆机与其弟陆云。当时隋炀帝杨广还是晋王,听到他们的名声,杨广与秦王杨俊征召的文书一起送到,虞世南以母亲年老为借口,坚决推辞,杨广命令使者去追他们。
武德四年(621年),秦王李世民灭窦建德后,虞世南被授任为秦王府参军,不久转任记室参军,十月,李世民被封为天策上将,并建立文学馆,虞世南被授为弘文馆学士,与房玄龄共掌诏告文翰,为“十八学士”之一。
贞观十二年(638年),虞世南又上表请求辞官归居,太宗优诏允许,仍授银青光禄大夫、弘文馆学士。