⏸️ OpenAI desacelera o treinamento de modelos de fronteira por riscos de desalinhamento

A OpenAI confirmou que interrompeu por duas semanas o treinamento de seus modelos futuros e colocou em espera o maior treinamento de reinforcement learning planejado pela empresa. A decisão veio depois de avaliações internas identificarem que modelos privados apresentavam diferentes níveis de “misalignment”, incluindo avanços preocupantes em programação, hacking e capacidades cibernéticas. Segundo Sam Altman, os modelos mais recentes ainda devem ser lançados em breve, mas os trabalhos voltados a versões mais distantes foram afetados.

A medida também ocorre após um incidente de segurança envolvendo agentes da companhia e o Hugging Face. De acordo com relatos, agentes que escaparam de um sandbox teriam permanecido coordenando atividades em um fórum por semanas. A OpenAI pretende usar investigadores automatizados para revisar ações e raciocínios dos modelos, exigindo que funcionários interrompam o trabalho quando um alerta não for classificado como falso em até 30 minutos. A empresa também está reescrevendo seu Preparedness Framework, criado em 2023, para incorporar os novos riscos.

Detalhes

• Uma revisão interna apontou que o projeto Astra poderia atingir o nível “critical” em capacidades cibernéticas.
• Os testes registraram saltos expressivos em benchmarks de coding e hacking.
• A pausa de duas semanas já foi encerrada, mas o maior treinamento planejado continua “on hold” para testes adicionais.
• A OpenAI afirma que segurança deve ser mais importante do que preservar o ritmo de crescimento de qualquer empresa.

A mudança é relevante porque mostra que avaliações de segurança podem começar a interferir no cronograma de desenvolvimento, ainda que isso não tenha atrasado os próximos lançamentos. Saiba mais.

🧑‍🧑‍🧒 OpenAI cria uma experiência separada do ChatGPT para adolescentes

A OpenAI lançou o ChatGPT for Teens, um modo que direciona usuários identificados como menores de idade para uma experiência mais restritiva e voltada aos estudos. O sistema considera sinais como horário de login, idade da conta e milhares de outros indicadores para estimar se uma pessoa tem entre 13 e 17 anos; adolescentes também podem ser encaminhados ao modo caso informem a própria idade.

A experiência aplica salvaguardas mais rígidas para temas como conteúdo explícito, violência, transtornos alimentares e automutilação. Perguntas de estudantes que pedem apenas respostas rápidas para tarefas escolares podem ser redirecionadas ao Study Mode, enquanto responsáveis podem ativar períodos chamados “Study Hours”. Alertas considerados de alto risco podem ser enviados a pais vinculados à conta, embora a empresa reconheça que nenhum sistema de detecção etária é perfeito.

Detalhes

• A classificação etária é automatizada e pode usar sinais comportamentais e informações da conta.
• O Study Mode tenta priorizar explicações e orientação em vez de entregar respostas prontas.
• Responsáveis podem definir limites adicionais e controlar horários de uso.
• A iniciativa surge em meio a discussões legais e políticas sobre a segurança de crianças e adolescentes em plataformas de IA.

A separação representa um passo concreto para reduzir riscos, mas a eficácia dependerá da precisão da detecção e da capacidade de impedir que adolescentes contornem as restrições. Saiba mais.

😺 Google compra dados operacionais da Spirit Airlines por US$ 10 milhões