Het kasteel dankt zijn naam aan zijn ligging op de Cos-helling en aan François Labory, eigenaar tot 1845. Nadien wordt het overgekocht door mijnheer d'Estournel, die het op zijn beurt in 1852 verkoopt aan de Engelse bankier Charles Martyns. Uiteindelijk koopt George Weber de eigendom in de jaren 30. Hij laat het in 1959 na aan zijn dochter en zijn schoonzoon, François Audoy. In 1971 koopt het koppel ook het aangrenzende Château Andron Blanquet. Hun zonen werken een aantal jaren met hen samen op beide domeinen. Later neemt Bernard, de oudste, het beheer van de eigendommen over. Hij is een man van het terrein, die kracht en rust uitstraalt. Hij heeft altijd in Saint-Estèphe gewoond en is de perfecte belichaming van zijn wijn en de wijnbenaming waarvan hij sinds 2000 voorzitter is. In 2023 openen Michel Reybier en zijn familie een nieuw hoofdstuk in de geschiedenis van Château Cos Labory, een in 1855 geclassificeerd vijfde groeidomein in Saint-Estèphe. Michel Reybier "zal zich inzetten om de onafhankelijkheid van het domein te bestendigen, met als doel een project van uitmuntendheid te ontwikkelen, gedreven door dit grote terroir van Saint-Estèphe".