房遗直和高阳公主是家人关系，房遗直是高阳公主的大伯，娶李世民女高阳公主，拜为驸马都尉，官为太府卿、散骑常侍。小公主蛮横，合谋罢黜房遗直而夺其官爵，永徽年里，诬陷房遗直对她失礼。

房遗直是房玄龄大儿子，驸马爷房遗爱的亲哥哥。房玄龄给三子各自取名字“遗直”、“遗爱”、“遗则”，期待他的子孙后代能"学为人师，行为世范，仁爱家传"。玄龄公以身作则身教都很勤，家风、家训也很严格。

房玄龄给三子取名字实是都各有深刻含义，在其中，为大儿子取名字，是因玄龄公向来倾慕“袁忠公累世忠节”，与此同时因春秋时晋国智者羊舌肸，博议广学，品格高尚，能以谦让国，是那时候晋国的忠臣，孔子称作“遗直”。以古圣贤的别号为子取名，玄龄公对其期待可以说高矣！玄龄公与世长辞后，房遗直沿袭其“梁国公”官爵和庞大门庭。高阳公主向来不喜欢这一个大伯，便要驸马爷房遗爱与亲哥哥分屋。房遗直不愿分出财产，还将房遗爱痛斥了一通。高阳公主生气，跑回王宫里，状告房遗直的状，说他经常对皇上口出怨言，图谋不轨。太宗调查以后，发觉是高阳公主骄纵胡为，禁不住大为气愤，将她训了一通。历经高阳公主的几回诬陷，房遗直担心，自个写奏章要求将官爵交给房遗爱，李世民怕坏掉规矩，并没同意。