다만 가족으로서는 좋은 사람이라 할 수 없었다. 여색을 밝히는 편이라 여후가 심하게 맘고생을 했고 여후 역시 유방 사후 열심히 잘 놀았다.], 자식들을 팽성 대전에서 던져버린 사례하며,[51] 백등산 포위전 이후 묵돌의 압박이 심해지자 당시 장오와 결혼해서 잘 먹고 잘 살고 있는 딸인 노원공주를 묵돌에게 줘 버릴 생각도 하고 있었다. 유방과 반대로 가족을 매우 아꼈던 항우와 여후는 그 애정에서 비롯된 불공정한 인사로 인심을 잃었으니 지도자로서는 나쁘다고만 하긴 그렇겠지만, 가족의 일원으로서는 애초에 무책임한 인물이다. 대의를 논하는 것도 웃긴 게 원래 패현 건달 시절에도 가족의 일원으로서의 위치에 대한 자각이 있었으면 뭐라도 좀 가져다 주던가 했어야 했다.

[51] 항우본기와 번역등관열전을 보면 이 아이들을 구한 사람 또한 유방이다. 유방은 팽성대전후 정공에게서 벗어나자 가족을 거두기 위해 패현에 들렀고, 항우도 유방의 가족을 잡기 위해 패현에 사람을 보냈기에 가족들도 난리를 피해 도망친 와중이라 만날 수가 없었지만 대신에 아들인 유영과 장녀인 노원공주가 여후는 어쨌는지(...) 길거리에 버려져있는 것을 보고 이들을 자기가 타고 있는 수레에 태웠던 것이다. 그러나 애들을 마차에서 집어던진 것은 발작에 가까운 행동이었다는 것은 부인하기 어렵다. 사실 이 때 유방은 혼란과 죄책감 때문에 제정신이 아니었을 거라는 변명은 할 수 있겠지만.