A história começa em 1531 com a passagem de Martim Afonso de Sousa pela Barra de Bertioga e a realização da “Conferência de Bertioga”, juntamente com João Ramalho e Antônio Rodrigues, para expulsão do Bacharel de Cananéia Mestre Cosme Fernandes (ou Cosme Fernandes Pessoa), que chefiava de modo clandestino e ilegal o povoado de São Vicente, para que ali fosse oficialmente fundada a Vila de São Vicente, cumprindo ordens do Rei de Portugal, Dom João III. Era chamado de Mestre/Bacharel porque deveria ter algum tipo de formação superior.

Acredita-se que o Bacharel de Cananéia, como era conhecido, veio ao Brasil na expedição de Gaspar de Lemos, em 1501, ou na expedição de Gonçalo Coelho, em 1502, as duas com o auxílio do experiente navegador Américo Vespúcio. Para outros autores, ele teria vindo ao Brasil antes, em uma expedição não oficial de Bartolomeu Dias ou na Armada de Francisco de Almeida, desembarcando no Brasil em 1493.

Deveria ser um degredado, condenado por crimes cometidos em Portugal ou banido por ser judeu. O Rei de Portugal Dom Manoel I (que reinou de 1495 a 1521), assinou em 5 de dezembro de 1496 o Decreto de Expulsão dos judeus de Portugal. Logo conquistou a liderança dos demais degredados. Teve várias mulheres indígenas e descendentes, proporcionando que fosse aceito pelos povos nativos. Era um “rei branco” entre eles.

Liderava um grupo formado por portugueses, espanhóis e indígenas, vivendo do abastecimento de navios que apareciam no litoral, com alimentos e água, fornecendo informações, atuado como intérprete, vendendo pequenas embarcações que o próprio grupo fabricava e comercializando indígenas escravizados.

O Bacharel de Cananéia assumiu a feitoria de São Vicente na década de 1510, instalando ali um estaleiro e um porto destinado ao tráfico de indígenas escravizados. Passou também a abastecer as embarcações que por ali passavam em direção ao Rio da Prata, no Paraguai. Ele é considerado como o fundador do primeiro povoado de São Vicente, o responsável pela construção da antiga Casa de Pedra. Dominava o comércio local e ganhou a confiança dos Tupiniquins ao se casar com uma das filhas do Cacique Piquerobi. No povoado de São Vicente também vivia Antônio Rodrigues.

O Rei de Portugal, Dom João III, que governou de 1521 a 1557, não queria um degredado como governante da vila que estava prestes a fundar. Também incomodava a Coroa Portuguesa o fato do Bacharel não se submeter os mandamentos do Rei, tal como apresentar relatórios e pagar impostos. Atuava livremente e Portugal decidiu intervir naquele povoado, tomando o para si.

Bertioga é um local estratégico e Martim Afonso de Sousa determina a instalação de um posto de observação com destacamento de alguns soldados no sítio de Bertioga, na margem direita de entrada da Barra. Frei Gaspar da Madre de Deus chamou de “Torre da Bertioga”, para controlar e proteger a entrada para o povoado de São Vicente. Foi construído com o auxílio de João Ramalho e seus amigos Tupiniquins, mas não permaneceu por muito tempo ativo, logo sendo abandonado.

É ali que se realiza a “Conferência de Bertioga”, onde Martim Afonso de Sousa transmite à João Ramalho e Antônio Rodrigues a ordem do Rei de Portugal, determinando que o Bacharel Mestre Cosme Fernandes abandone o povoado de São Vicente e retorne para Cananéia com toda sua família e subordinados, ou submeta-se a força dos canhões das esquadras portuguesas. O Bacharel optou por retornar em paz para Cananéia com a família. Martim Afonso de Sousa funda em 22 de janeiro de 1532 a Vila de São Vicente.