Com o fim da Armação das Baleias, provavelmente em 1825, Bertioga é quase totalmente esquecida, não fosse por algumas inspeções realizadas periodicamente no Forte São João. No dia 28 de dezembro de 1884, o “Correio Paulistano” publicava ordem do Governador do Estado objetivando a liberação de recursos para obras no Forte São João, quartel, muralhas. Em outra oportunidade liberava-se recursos para conserto da canoa e depois para aquisição de uma nova. Pequenos reparos e limpezas ocasionais eram realizados, mas pouco mudava o aspecto decadente, pois logo o mato cobria tudo.

De 1825 até a chegada do serviço de travessia entre Santos e Bertioga, em 1912, o lendário núcleo de agricultores e pescadores quase desapareceu. O ciclo do ouro no interior do Brasil e a escoação da produção pelo porto do Rio de Janeiro, que se torna capital do Brasil, contribuíram para essa estagnação da Vila de Bertioga. Além disso, a tranquilidade das costas brasileiras, que já não mais corriam risco de invasões de franceses, espanhóis ou holandeses e nem de revolta de nativos faz com que o Forte São João deixe de ser importante do ponto de vista estratégico-militar para o Império.

Bertioga entra em um novo período de decadência, de ruínas e abandono. Casas de madeira no meio do mato, pessoas com roupas velhas e crianças desnutridas. A Vila de Bertioga estava condenada a jamais prosperar.

Os sítios eram usados para atividades agrícolas, mas a partir do final do século XIX (1880/1900) Bertioga começa a ser procurada para passeios no Forte São João e na praia. Esses sítios, que antes eram destinados a atividade econômica ou a subsistência da família, passavam a dar lugar aos sítios destinados ao lazer, para atividades de veraneio. Assim foi com o Coronel Cândido Anunciado Dias de Albuquerque e a casa de sua propriedade, em frente ao “Rio da Bertioga” (Canal de Bertioga), à 30 metros do Forte São João, ponto de encontro de inúmeros piqueniques.

O ciclo do café torna Santos uma cidade rica e próspera, com muitos endinheirados que procuravam Bertioga como um refúgio de descanso e lazer.

Na primeira metade do século XIX (1801/1850) moravam em Bertioga, segundo o Recenseamento de 1822: José da Silva (40 anos) e a esposa Anna Rosa (39 anos), com os filhos Thereza (7 anos) e Anna (6 anos); João Furtado (39 anos), solteiro; Catharina Ribeiro (68 anos), tendo como agregados o casal Florêncio (57 anos) e Anna (41 anos), sendo seus filhos Theodozia (18 anos), Vicente (14 anos), Miguel (13 anos), Simão (14 anos) e Bárbara (22 anos); Luiza (39 anos), com seus filhos. 

Eram moradores de Bertioga na segunda metade do século XIX (1851/1900) os irmãos Benedito Lino Marcello e Bonifácio Lino Marcello, Manoel do Espírito Santo Guimarães, Joaquim Guerra, Sebastião Garcez, José Felisberto Garcez, Gabriel Fernandez Garcez, Joaquim Antonio de Mattos Junior, Sergio Belmiro de Andrade, José Pinto Florêncio de Campos, suas esposas e seus filhos, e alguns outros que o tempo apagou da memória, para sempre.

Em 1887, o “Indicador Santista” apontava dentre os moradores, os únicos quatro com direito a voto, os eleitores: Manoel do Espírito Santo Guimarães, Joaquim Antonio de Mattos Junior, Sergio Belmiro de Andrade e José Pinto Florêncio de Campos. Eram homens ricos, negociantes e proprietários de terras. Nestor Pinto Florêncio de Campos nasceu em Bertioga em 1893, casando-se em 1917 com Maria Luiza Josefa de Campos (Maricota). Ele era neto de José Pinto Florêncio de Campos e Tereza de Jesus. Após o falecimento de José, a sua viúva, Tereza, casou-se com Manoel Espírito Santo Guimarães, que foi Comandante do Forte São João. Quando Nestor nasceu, os avós paternos já eram falecidos.

Persistia em torno do Forte São João um tímido núcleo de agricultores e pescadores, com no máximo dez casas, algumas de tijolos e outras de madeira. Parte das pedras que compunham a tenalha (muro) do Forte São João foram utilizadas pelos moradores no alicerce de suas casas e no cais em frente o “Rio da Bertioga” (Canal de Bertioga).

De difícil acesso e comunicação com as cidades vizinhas, era comum Bertioga ser escolhida por foragidos da justiça ou estelionatários querendo dar um golpe no povo.

Em 1866, virou caso de polícia, os grupos de Folia do Divino Espírito Santo, que vinham de outras regiões para Bertioga, pedir esmolas aos fiéis, o que era proibido na época pela Igreja Católica.

Em 1883, vinda de Mogi das Cruzes, apareceu em Bertioga uma menina de dez anos, acompanhada dos pais, que se autoproclamava “santa”. Se dizia “Nossa Senhora das Dores”. A população, supersticiosa, ficou encantada, acreditava, doava alimentos, objetos e até dinheiro, mas essas pessoas não paravam muito pelos arredores pois logo a farsa era descoberta e iam para outros lugares. Em 1894 apareceu um homem, que era uma espécie de curandeiro, realizava milagres, e certa época chegou a desenterrar do velho cemitério da praia uma criança que nasceu morta e a batizou, mas não houve milagre algum. A Polícia de São Paulo quando soube desse fato veio até Bertioga, onde o prendeu e levou para São Paulo.

Os registros históricos provam que festas de São João, realizadas no mês de junho, em homenagem ao santo, com fogueiras na praia, na lua cheia, com muita música, bebida e comida já faziam parte da tradição desde o final do século XIX, na Bertioga do Brasil Império (1822/1889). Essas festas tinham um momento dedicado a devoção do santo. E outro dedicado a celebração com cânticos alegres, perdidos no tempo, ainda um desafio aos historiadores. Desde a época dos Tamoios/Tupinambás e Tupiniquins, o milho sempre esteve presente na culinária caiçara, como a canjica e o bolo de milho. Nas melhores festas a comida era a tradicional tainha assada na brasa, suco de fruta, doce de banana e pinga. A antiga comunidade de agricultores e pescadores que viviam nos arredores do Forte, comemoravam São João.

A celebração ao Dia de Santo Antônio também acontecia, de modo religioso, na Ermida de Santo Antônio do Guaíbe, pela comunidade local.