In 1620 vaar ’n vloot van die Engelse Oos-Indiese Kompanjie Tafelbaai binne. Die vloot is onder bevel van Andrew Shillinge en Humphrey Fitzherbert en hulle is onderweg na Indië.
Shillinge en Fitzherbert hys die Engelse vlag op Seinheuwel en annekseer die gebied in die naam van Koning James I. Die plan is om ’n plantasie te vestig aan die Kaap om verversings aan Britse skepe te verskaf op pad na Indië. Die koning erken egter nie die anneksasie nie en die plan word nooit deurgevoer nie. Meer as 100 jaar later sou die vlaghysing weer ’n rol speel in die geskiedenis van Suid-Afrika.
Toe ’n Britse vloot onder admiraal George Keith Elphinstone en generaal-majoor James Henry Craig Valsbaai binnevaar in 1795 het hulle dokumente gehad wat beweer dat die Britte hulle in 1620 in Tafelbaai gevestig het, vroeër as die VOC (Verenigde Oost-Indische Compagnie). Die Engelse het ook reeds Robbeneiland as ’n tronk gebruik sedert die 17de eeu.