CalonはSt-Estepheの村のすぐ北にあり、ブドウの木は近隣にある古代のレンガの壁で隔てられている家の裏庭へと続いていく。その建物は村自体よりも古く、ガロローマ時代までさかのぼると言われている。もともとはこの地域全体をカロンと呼び、ナポレオン時代まではこの村をSt-Estephe de Calonと呼んでいた。talonの語源ははっきりしていない。

さまざまな専門家は、talonは木や森を意味する古い言葉であり、Gironde河口を横切って材木を運んでいた船はCalonesと呼ばれていたと示唆している。Medoc Archeological と Historical Societyによる最近の研究は、その起源は、古代ガリア語で水を意味する「onna」 と、インド・ヨーロッパ以前の石を意味する「kat」 にあり、CalonとChalonnes-sur-Loireの類似点を描いている。

この問題について私よりもずっと詳しい語源学者たちに文句を言うつもりはないが、私は岩や石を含まれていると考えていた。すなわち、流水に近いNtural shelter（洞窟など）はロワールの場合にはドルドーニュ渓谷のように、低地メドックの穏やかな砂や砂利の土手にはほとんど当てはまらなかった。その代わりに、私は彼らにどんな価値があるかいくつかのアイディアを提案します。`Kalos’はギリシャ語で 「美しい」 を意味する。Calonは「心臓 」のウェールズ語で、Segurは 「安全」 のウェールズ語だ。(また、誰かが興味を持った場合に備えて、Chalon（シャンパーニュの町)は毛布を表す中世の英語でした。)CalonはLesparreの領主の主要な領地であり、そのうちの一人は1157年にCatonの領主でポワティエの司教でした。Bordeaux大学には、ワインの課税に関する文書が保管されている。

1331年、カロンの領主Mossen (ムッシュの古いフランス語) Gombardは、Lesparre男爵の娘Jehanne de Peyregortと結婚した。Calonの相続人である孫娘サルティダは、1362年にモーセン・ド・ポニーと結婚した。イングランド人がボルドー地区から追放された後、その地所はD’Albret家の所有となり、その一人で「le Grand」として知られるAlain D’Albretは1481年に彼のお気に入りのJehan de LurにCalonを与えている。30年後、Pierre de Marsanがこの土地を譲り受けた。彼の相続人はCalonをVallier家に売却し、1581年、それを（結婚）持参金としてJean de Gasqに渡された。次の世紀には再びCalonは女系を経て、今度は有名なSegur家、最終的にはLafiteとLatourの所有者などその他多くの人々の手に渡った。1718年頃、Calonの娘Gasq夫人と結婚したのはNicolas Alexandre侯爵だった。’Prince of Vines’（葡萄畑の王子）である彼が発したとされる有名なフレーズ「われLafiteやLatourをつくりしが、わが心カロンにあり」にちなんで、伯爵の名前とハートマークが、ラベルに付けられた。Segurは1755年に他界し、死後の文献では『Seigneur de Calon』などと呼ばれている。彼の遺言には書かれていないが、この財産は彼のいとこで義理の息子にあたるパリ市長のAlexandre de Segur-Calonに、彼の死亡前に譲渡されたようだ。ボルドーの歴史家Pierre Butelは、この贈り物は彼がボルドー議会のモルティエ大統領の職を退き、Segur-Calonが彼の長女Marie-Thereseと結婚した1742年にあったかもしれないと示唆した。現在の城が建てられたのは、おそらくこの頃だと言われている。