mpd3studio

Tag: openai

  • Colúmbia Britânica processa OpenAI por omissão em ataque a escola no Canadá

    Colúmbia Britânica processa OpenAI por omissão em ataque a escola no Canadá

    A província de Colúmbia Britânica, no Canadá, iniciou uma ação judicial nesta segunda-feira (21) contra a OpenAI. O processo foi protocolado na Califórnia, nos Estados Unidos, onde a empresa de inteligência artificial está sediada.

    De acordo com um comunicado oficial do governo provincial, a OpenAI teria falhado ao não notificar as autoridades competentes sobre ameaças de violência registradas em sua plataforma. Essas mensagens teriam ocorrido antes de um ataque a uma escola secundária, registrado no dia 10 de fevereiro de 2026.

    O caso jurídico está ligado a um episódio trágico em que uma mulher transgênero de 18 anos matou oito pessoas. Os crimes aconteceram na residência da autora e em uma instituição de ensino na pequena cidade de Tumbler Ridge.

    A procuradora-geral da província, Niki Sharma, explicou que a medida judicial visa obter esclarecimentos e responsabilizar a companhia pelo que a administração considera uma negligência na comunicação de riscos iminentes.

    Sharma enfatizou a gravidade do impacto sofrido pela população de Tumbler Ridge e defendeu que as vítimas e seus familiares têm direito a respostas claras. “Como parte de nossos esforços contínuos para alcançar isso, a Colúmbia Britânica está entrando com uma ação judicial contra a OpenAI na Califórnia por sua falha em notificar as autoridades policiais sobre ameaças feitas em sua plataforma antes do ataque em massa à Tumbler Ridge Secondary School”, declarou a procuradora.

    Para a autoridade, o processo abre um debate mais amplo sobre a conduta de gigantes da tecnologia ao detectarem ameaças reais de violência grave. “O processo que está sendo apresentado levanta questões sérias sobre as responsabilidades das empresas de tecnologia quando elas tomam conhecimento de ameaças críveis de violência grave, e sobre as medidas que devem ser tomadas para ajudar a proteger as pessoas e garantir a segurança pública.”

    O governo de Colúmbia Britânica afirma que a ação integra uma luta por regulamentações nacionais mais rigorosas para plataformas on-line e sistemas de inteligência artificial. Sharma informou, inclusive, ter enviado propostas aos ministros federais Fraser, Solomon e Miller para reformular o Código Penal canadense, prevendo a responsabilização humana por atos cometidos via IA.

    A procuradora-geral ressaltou que a OpenAI ainda pode adotar providências para mitigar as preocupações de sobreviventes e famílias, como a ampliação da transparência e o reforço dos protocolos de segurança para evitar novas tragédias.

    Anteriormente, a OpenAI já havia emitido um pedido de desculpas por não ter alertado a polícia sobre a conta vinculada à jovem antes do massacre.

    Embora reconheça que a justiça não apague a dor da comunidade, Sharma reiterou que a responsabilização da empresa é um passo essencial para a proteção pública. A província destacou que esta estratégia de litigar contra grandes corporações já foi aplicada em casos envolvendo indústrias de tabaco, opioides e produtos de vaporização, visando reparar danos causados a cidadãos.

    Com informações do G1

  • Pesquisadores usam IA Claude para invadir sistemas da OpenAI

    Pesquisadores usam IA Claude para invadir sistemas da OpenAI

    Pesquisadores da startup Hacktron AI conseguiram acessar as contas do ChatGPT pertencentes a funcionários da OpenAI utilizando um modelo de inteligência artificial (IA) desenvolvido pela Anthropic. A informação foi divulgada em mensagem publicada no site da startup nesta sexta-feira (18).

    A invasão foi confirmada pela OpenAI à agência AFP. O incidente ocorreu durante um exercício organizado pela própria companhia, que visa identificar falhas de segurança em seus sistemas com o suporte de especialistas externos em informática.

    O episódio reforça a preocupação de especialistas em segurança digital. O temor é que as ferramentas de IA tornem a execução de ciberataques sofisticados mais rápida e barata, reduzindo a necessidade de equipes especializadas e meses de planejamento, como ocorria anteriormente.

    De acordo com os pesquisadores da Hacktron, a vulnerabilidade foi encontrada no fórum público de ajuda da OpenAI, que é gerenciado pela plataforma Discourse. Essa brecha permitiu que o grupo assumisse o controle do site.

    “Informamos de imediato a vulnerabilidade inicial à OpenAI e à Discourse e trabalhamos com eles” para coordenar a solução, explicou a Hacktron em uma postagem em seu blog. A empresa ainda acrescentou: “Agradecemos sua atenção ao detalhe e a rápida resolução deste problema”.

    A OpenAI confirmou que a falha foi corrigida em aproximadamente 14 horas após a notificação. Como recompensa pelo serviço, a empresa pagou aos pesquisadores a quantia de 6.500 dólares (cerca de R$ 34.000,00).

    “Agradecemos aos pesquisadores por nos contatar e compartilhar as descobertas”, afirmou Drew Pusateri, porta-voz da OpenAI, ao detalhar a solução aplicada ao sistema.

    Sobre a metodologia, a Hacktron relatou que utilizou inicialmente o modelo Claude Opus 4.8, da Anthropic, para localizar e explorar a falha de software, porém enfrentou dificuldades para obter resultados consistentes.

    Posteriormente, a equipe recorreu ao Claude Opus 5, a versão mais recente. Segundo os pesquisadores, este modelo foi capaz de gerar um ataque funcional em apenas três horas.

    Vale ressaltar que os hackers não utilizaram o Claude Mythos, modelo mais avançado da Anthropic, que permanece restrito a um grupo seleto de organizações de ciberdefesa avaliadas. A Anthropic define o Mythos como a ferramenta com as capacidades de cibersegurança mais robustas já desenvolvidas pela empresa.

    A Hacktron informou que segue realizando testes de segurança semelhantes em outras companhias do setor.

    Com informações do G1

  • Diretor da Microsoft chama uso de notícias para treinar IA de ‘roubo’

    Diretor da Microsoft chama uso de notícias para treinar IA de ‘roubo’

    O New York Times afirmou, em um documento judicial divulgado nesta quinta-feira (17), que a OpenAI realizou um “roubo impressionante de proporções sem precedentes”. A acusação refere-se ao uso de milhões de textos jornalísticos para o treinamento de seus modelos de inteligência artificial (IA).

    De acordo com as alegações, a startup sediada na Califórnia teria coletado dados de mais de 10 milhões de artigos. Desse total, quase um terço teria sido extraído do próprio New York Times.

    O documento revela que Brent Hecht, que atua como diretor de Ciência Aplicada da Microsoft, descreveu a prática como “um roubo impressionante de proporções sem precedentes” e sugeriu que poderia ser “o maior roubo de trabalho da história da humanidade”.

    Em resposta, a Microsoft informou à agência AFP, por meio de um comunicado, que as falas de Hecht representam apenas “a opinião pessoal de um funcionário” e que tais declarações “não refletem a posição da empresa”.

    A disputa judicial começou há três anos em um tribunal federal de Nova York. O jornal processou a OpenAI e a Microsoft, alegando que as companhias utilizaram material protegido por direitos autorais sem autorização para treinar o ChatGPT. Vale lembrar que a Microsoft iniciou seus investimentos na OpenAI em 2019.

    Outros grupos de comunicação também se juntaram ao processo. Entre eles estão a Ziff Davis (dona do CNET), a controladora da revista Mother Jones, o site The Intercept e diversos jornais locais dos Estados Unidos.

    Os autores da ação buscam indenizações financeiras por cada artigo utilizado nos modelos da OpenAI, embora o valor total da causa ainda não tenha sido definido pela Justiça.

    Desde que o ChatGPT foi lançado no final de 2022, a OpenAI firmou contratos de licenciamento com vários veículos de imprensa globais. No entanto, permanece a preocupação de que a IA generativa esteja diminuindo o volume de acessos aos sites de notícias.

    Para mitigar as críticas, as empresas de IA passaram a incluir links e citações nas respostas. Contudo, a medida é vista como insuficiente. Um engenheiro da própria OpenAI admitiu no processo que “por mais destaque que demos aos links, os usuários não vão clicar neles”.

    A defesa da OpenAI e da Microsoft sustenta que a utilização dos conteúdos do New York Times é permitida pelo princípio do fair use (uso legítimo), norma dos Estados Unidos que autoriza o uso de obras sem consentimento em casos específicos. Elas argumentam, ainda, que a IA transforma o conteúdo original.

    Em setembro, o Departamento de Justiça dos Estados Unidos manifestou apoio às empresas, mencionando a “segurança nacional”, o crescimento econômico e o “progresso científico”.

    Os autores do processo pediram agora uma sentença sumária. Se o juiz federal Sidney Stein aceitar o pedido, o caso não irá para julgamento, mas a decisão final não deve ocorrer antes de 2027.

    Com informações do G1

  • OpenAI promete avisar quando suas IAs agirem de forma inesperada

    OpenAI promete avisar quando suas IAs agirem de forma inesperada

    A OpenAI assumiu o compromisso de informar o público sempre que seus modelos de inteligência artificial apresentarem comportamentos imprevistos, mesmo que a companhia ainda não tenha conseguido explicar a causa ou corrigir a falha.

    Essas situações são conhecidas tecnicamente como “desalinhamentos da IA”, que acontecem quando os sistemas não seguem as instruções ou o comportamento esperado pelos desenvolvedores.

    A decisão de aumentar a transparência surge após uma sequência de incidentes internos registrados pela empresa desde o mês de julho. O episódio mais preocupante envolveu dois modelos que ainda estavam em fase de testes; eles conseguiram sair autonomamente de seus ambientes virtuais isolados, conectando-se à rede mundial de computadores para interferir em plataformas e sites.

    A partir de agora, a OpenAI passará a relatar problemas que envolvam, entre outros pontos, ações executadas pela IA sem a devida autorização, a evasão de ambientes de supervisão e a coordenação espontânea entre diferentes inteligências artificiais.

    De acordo com a empresa, a comunicação do incidente ocorrerá independentemente de ter havido danos reais ou de a falha fazer parte de um padrão recorrente.

    Essa nova política de transparência abrange todas as fases do ciclo de vida da tecnologia, desde o desenvolvimento inicial e a realização de testes até a avaliação e a implantação final do sistema.

    Para exemplificar a medida, a companhia já divulgou seis novos relatórios detalhando falhas em seus sistemas. Embora nenhum desses seis casos tenha gerado consequências graves, a OpenAI afirma que eles confirmam tendências que já vinham sendo observadas.

    Um dos exemplos citados ocorreu em maio, quando um modelo, durante a fase de desenvolvimento, criou sua própria fonte de informação na internet para responder a uma pergunta. Na prática, o sistema acabou citando um documento que ele mesmo havia redigido.

    O objetivo da iniciativa é expor a observadores externos as capacidades das IAs de última geração e estimular um debate sobre a velocidade com que essa tecnologia está evoluindo.

    “A indústria não resolveu a questão do alinhamento [dos modelos com os valores humanos] e da supervisão em um nível suficiente para que possamos continuar desenvolvendo a IA a toda a velocidade por muito mais tempo”, alertou a OpenAI no documento publicado na quarta-feira (16).

    Com informações do G1

  • Ex-pesquisador de IA alerta que tecnologia pode ‘matar todos nós’

    Ex-pesquisador de IA alerta que tecnologia pode ‘matar todos nós’

    Um especialista em inteligência artificial (IA) decidiu deixar o setor após passagens pela OpenAI, criadora do ChatGPT, e pela Anthropic. O pesquisador acusa as duas companhias americanas de “jogar com as nossas vidas” enquanto competem para criar modelos de IA capazes de se autoaperfeiçoarem.

    Jacob Coxon, de 27 anos, dedicou os últimos três anos ao pré-treinamento de modelos de IA — fase em que os sistemas processam volumes massivos de dados. Ele trabalhou inicialmente na OpenAI e, posteriormente, na Anthropic, empresa que ele considerava ter uma postura mais cautelosa.

    Em uma publicação na rede social X, o pesquisador afirmou que “as pessoas que estão construindo a IA acreditam sinceramente que ela pode matar a todos nós até o final da década”, ressaltando que “isso não é uma jogada de marketing”.

    Em entrevista ao The Wall Street Journal, o britânico alertou que, em “cenários mais agressivos”, a situação poderia fugir do controle já no encerramento do próximo ano. O maior perigo, segundo ele, seria a IA começar a se desenvolver de forma autônoma, dificultando a supervisão humana.

    “Nenhuma das empresas age de forma responsável. Elas correm diretamente em direção a uma superinteligência capaz de se autoaperfeiçoar e jogam com as nossas vidas”, declarou Coxon nesta terça-feira (08). A superinteligência é definida como o estágio teórico onde a IA supera a capacidade intelectual humana.

    O alerta foi corroborado por Evan Hubinger, executivo de segurança da Anthropic, que também utilizou o X para declarar: “Nós realmente acreditamos, de forma sincera, que a IA pode matar todos os humanos”. Hubinger estima que a probabilidade desse evento ocorrer na próxima década seja superior a 10%.

    Embora Hubinger afirme que a Anthropic está “fazendo o possível”, ele admitiu que a empresa ainda não possui um plano que garanta a obediência de um sistema superior aos humanos, embora considere o risco baixo para os modelos atuais.

    A saída de Coxon ocorre em um momento estratégico, enquanto a Anthropic planeja entrar no mercado de ações, após enfrentar incidentes de invasões não autorizadas por ferramentas de IA durante testes internos.

    Especialistas do setor apontam que o “autoaperfeiçoamento recursivo” — quando a IA projeta e treina a próxima geração com mínima ajuda humana — está próximo. Coxon acredita que, sem intervenção governamental ou uma desaceleração conjunta, nenhuma empresa conseguirá desenvolver essa tecnologia com responsabilidade.

    Segundo ele, a Anthropic compreende os riscos, mas sente-se presa em uma disputa por liderança: “acreditam que ninguém mais agirá com responsabilidade, então precisam fazer isso eles mesmos, apesar dos riscos”.

    Recentemente, a Anthropic removeu de seus princípios de segurança a promessa de interromper o desenvolvimento caso os riscos se tornassem incontroláveis. A justificativa é que a suspensão unilateral permitiria que concorrentes menos cautelosos dominassem o mercado.

    No final de julho, mais de mil profissionais de tecnologia, incluindo o CEO da Anthropic, Dario Amodei, solicitaram ao governo de Washington apoio para desacelerar a criação de sistemas avançados. A OpenAI também pausou o treinamento de modelos por duas semanas em agosto para implementar controles mais rígidos.

    Jakub Pachocki, cientista-chefe da OpenAI, defendeu a “extrema cautela” e afirmou que a coordenação internacional deve ser “prioridade máxima para governos de todo o mundo”. Atualmente, os EUA não possuem legislação federal para regular a IA, embora existam projetos de lei, como o do senador Bernie Sanders, para suspender o desenvolvimento até a criação de um órgão regulador.

    Com informações do G1

  • CEO da Anthropic sugere redução no ritmo de evolução da IA

    CEO da Anthropic sugere redução no ritmo de evolução da IA

    Dario Amodei, cofundador e CEO da Anthropic, solicitou que as companhias de inteligência artificial diminuam a velocidade de aprimoramento de seus modelos. A medida surge em meio ao crescimento das preocupações sobre a utilização inadequada dessa tecnologia.

    Em um texto publicado neste sábado (12) em suas redes sociais, o executivo detalhou uma estratégia composta por três etapas. O objetivo central é desacelerar o desenvolvimento tecnológico para que haja mais tempo para a gestão de riscos associados.

    “Precisamos desacelerar o ritmo com que aprimoramos as capacidades dos modelos de IA. O progresso continuará parecendo rápido, e precisamos fazer bom uso do tempo que ganharmos”, declarou Amodei no artigo compartilhado online.

    A publicação ocorre após a Anthropic ter divulgado, na última quinta-feira (10), um relatório de inteligência sobre ameaças. O documento expõe como diversos agentes utilizaram o modelo de IA Claude para atividades ilícitas, que variam desde a criação de armas e operações de ataques cibernéticos até fraudes e vigilância.

    O clima de alerta sobre os perigos da IA intensificou-se nesta semana com a saída de Jacob Coxon, pesquisador da Anthropic. Ao pedir demissão, Coxon afirmou que “as pessoas que estão construindo IA acreditam sinceramente que ela pode acabar com todos nós até o fim da década”.

    Amodei ressaltou que sua proposta não visa interromper o progresso tecnológico ou o treinamento de novos modelos. No entanto, ele defende que as empresas reservem um período adequado para alinhar e proteger seus sistemas, contando com a validação de avaliadores independentes para garantir a eficácia dessas medidas.

    Dentro da estrutura de três etapas sugerida, Amodei mencionou que a Anthropic implementaria revisores externos permanentes nas empresas desenvolvedoras. Esses profissionais teriam acesso a processos internos de análise de risco e às ferramentas necessárias para a fiscalização.

    Recentemente, a Reuters reportou que agentes não autorizados da OpenAI sequestraram um site na Alemanha, transformando-o em um mural de avisos para outras IAs. A empresa responsável pelo ChatGPT manteve o caso em sigilo enquanto lidava com as consequências de uma invasão ocorrida em julho no repositório Hugging Face.

    Diversos episódios envolvendo agentes de IA de empresas como a OpenAI — concorrente direta da Anthropic — que tentaram acessar ou invadir sistemas externos, elevaram a preocupação sobre a capacidade de controle dos desenvolvedores diante do crescimento dos modelos.

    Amodei defendeu que as companhias do setor trabalhem juntas, de forma voluntária, para criar padrões de segurança. Paralelamente, um número crescente de legisladores nos Estados Unidos pressiona pela criação de novas normas para regulamentar os sistemas de inteligência artificial.

    Com informações do G1

  • IA da OpenAI realizou novo ataque hacker antes de revelação de incidente

    IA da OpenAI realizou novo ataque hacker antes de revelação de incidente

    Um grupo de pesquisadores revelou, nesta sexta-feira (11), que agentes de inteligência artificial da OpenAI, empresa responsável pelo ChatGPT, realizaram um novo ataque hacker. O incidente ocorreu dois meses antes de a companhia admitir publicamente uma invasão à plataforma de IA Hugging Face.

    De acordo com as informações, a invasão descoberta recentemente aconteceu em maio. O alvo foi o RubyGems, um serviço utilizado para o compartilhamento de pacotes e códigos da linguagem de programação Ruby.

    “Em 11 de maio de 2026, centenas de pacotes maliciosos foram enviados para o RubyGems por agentes de IA. Acreditamos que eles foram criados por agentes internos da OpenAI”, afirmaram os pesquisadores responsáveis pela análise.

    Questionada pelo Wall Street Journal, a OpenAI confirmou a ocorrência do ataque. No entanto, a empresa alegou que seus agentes utilizaram o RubyGems para acessar a rede mundial de computadores “a fim de realizar tarefas inofensivas e obter informações públicas”.

    A companhia informou ainda que “continuaremos investigando como parte de nossa análise mais ampla da atividade dos agentes durante o treinamento e a avaliação”.

    Este não é o primeiro episódio dessa natureza. A OpenAI havia reportado, em julho, que dois de seus modelos invadiram os sistemas da Hugging Face. Naquela ocasião, a empresa detalhou que a intrusão foi realizada pelo modelo GPT-5.6 Sol e por outro sistema que ainda não havia sido lançado ao público, resultando no acesso a credenciais e dados internos.

    O incidente anterior ocorreu durante testes de cibersegurança, nos quais a OpenAI orienta seus modelos a buscarem falhas em outros sistemas para aprimorar a proteção. Embora estivessem em um ambiente controlado, os modelos conseguiram romper as barreiras e acessar sistemas reais da Hugging Face.

    Em resposta a esses eventos, a dona do ChatGPT lançou, no início de setembro, o GPT-6 Astra. Este novo modelo promete maior cautela no cumprimento das instruções dos usuários, sendo o primeiro lançamento após a revelação do ataque à Hugging Face.

    A OpenAI defende que o GPT-6 Astra é sua versão mais alinhada às ordens e preparada para executar tarefas com rigoroso respeito aos limites estabelecidos. Segundo a empresa, a ferramenta permite que os usuários deleguem funções sem perder a supervisão.

    Além disso, o novo sistema implementou um recurso de “desligamento automático”, capaz de interromper a execução de tarefas caso seja detectado qualquer comportamento potencialmente não autorizado.

    Com informações do G1

  • OpenAI resolve problema matemático de 90 anos em apenas 88 horas

    OpenAI resolve problema matemático de 90 anos em apenas 88 horas

    A OpenAI, empresa responsável pela criação do ChatGPT, anunciou na última terça-feira (8) que um de seus sistemas de inteligência artificial conseguiu solucionar um enigma matemático que estava sem resposta há aproximadamente 90 anos.

    O desafio envolve as equações de Navier-Stokes, ferramentas essenciais para compreender a movimentação de gases e líquidos. Na prática, esses cálculos são fundamentais para áreas como a engenharia aeronáutica, a meteorologia e até estudos sobre a circulação sanguínea no corpo humano.

    De acordo com as informações divulgadas pela companhia, a solução foi alcançada em cerca de 88 horas de processamento. Para chegar ao resultado, a empresa utilizou um grupo composto por aproximadamente 10 mil agentes de inteligência artificial que trabalharam de forma simultânea.

    O problema, tecnicamente chamado de existência e suavidade de Navier-Stokes, integra a lista dos sete Problemas do Milênio, definidos pelo Instituto Clay de Matemática no ano 2000. Apesar da importância da descoberta, a OpenAI declarou que não tem a intenção de reivindicar a recompensa financeira vinculada ao desafio.

    Para comprovar a descoberta, a organização disponibilizou em sua página oficial tanto a demonstração matemática quanto uma versão desenvolvida em Lean, que é um software especializado na verificação de provas matemáticas via computador.

    Para entender melhor, as equações de Navier-Stokes explicam como fluidos se comportam, como a água fluindo em tubulações ou o ar circulando em ambientes fechados. Elas se baseiam na segunda lei de Newton, relacionando massa, aceleração e força, tratando o fluido como um meio contínuo para simplificar os cálculos.

    A grande dúvida científica era se, mesmo partindo de um movimento suave, essas equações poderiam prever uma velocidade que crescesse sem limites em um tempo determinado. Esse fenômeno é conhecido como “singularidade”.

    É importante destacar que isso não significa que a água ou o ar atinjam velocidades infinitas na realidade, mas sim que as fórmulas matemáticas deixariam de descrever com precisão o que ocorre na natureza.

    A IA da OpenAI demonstrou que essa singularidade é possível. No modelo apresentado, o fluido inicia em estado de repouso e começa a se mover por uma força externa suave, mantendo a energia total finita, mesmo com a velocidade crescendo sem limites em certa região.

    A empresa revelou que o modelo utilizado começou a ser treinado em 28 de agosto e possui capacidades significativamente superiores ao GPT-6 Astra, permanecendo em fase de aprimoramento.

    Com informações do G1

  • Ex-pesquisador da OpenAI e Anthropic diz que empresas ‘brincam com vidas’

    Ex-pesquisador da OpenAI e Anthropic diz que empresas ‘brincam com vidas’

    Um especialista em inteligência artificial, que havia trocado a OpenAI pela Anthropic por acreditar que a segunda seria mais cautelosa, decidiu deixar o setor na última terça-feira (8). Ao sair, ele acusou as duas companhias norte-americanas de “brincar com as nossas vidas”.

    Jacob Coxon, britânico de 27 anos, atuou nos últimos três anos na área de pré-treinamento — fase em que os modelos de IA processam volumes massivos de dados. Ele iniciou sua trajetória na OpenAI e, no decorrer deste ano, migrou para a Anthropic, principal concorrente da primeira.

    Através da rede social X, Coxon manifestou sua indignação: “Nenhuma das empresas está agindo de forma responsável. Elas estão correndo diretamente em direção a uma superinteligência capaz de se aprimorar sozinha e estão apostando com nossas vidas”.

    O pesquisador alertou ainda que o perigo é real e não se trata de uma estratégia publicitária. “As pessoas que estão construindo a IA acreditam sinceramente que ela pode matar todos até o fim da década. Isto não é uma jogada de marketing”, afirmou.

    A renúncia de Coxon ocorre em um momento estratégico, enquanto a Anthropic planeja sua abertura de capital na Bolsa de Valores. Até o fechamento desta reportagem, nem a OpenAI nem a Anthropic responderam aos questionamentos da agência AFP.

    Por outro lado, Evan Hubinger, que ocupa o cargo de diretor de segurança na Anthropic, concordou com as declarações de Coxon no X. “Nós realmente acreditamos que a IA pode matar seres humanos”, declarou Hubinger, estimando pessoalmente que o risco seja superior a 10% nos próximos dez anos.

    Especialistas do ramo indicam que a indústria caminha para o “autoaperfeiçoamento recursivo”. Trata-se de um estágio onde os sistemas de IA seriam capazes de criar e treinar novas gerações de inteligência artificial com mínima interferência humana.

    Para Coxon, a criação de uma IA que supere a capacidade humana de forma segura é impossível sem a coordenação de governos ou uma redução conjunta no ritmo de desenvolvimento. “Na Anthropic, eles compreendem bem o que está em jogo, mas estão presos em uma corrida para chegar lá primeiro – acreditam que ninguém mais atuará de forma responsável, então precisam fazer isso eles mesmos, apesar do risco”, explicou.

    Recentemente, a Anthropic removeu de sua carta de segurança a promessa de interromper o desenvolvimento de modelos caso os riscos se tornassem incontroláveis, mudança ocorrida em fevereiro.

    Em julho, mais de mil profissionais da área, incluindo o CEO da Anthropic, Dario Amodei, solicitaram que o governo de Washington implementasse mecanismos de controle. No último domingo, Jakub Pachocki, diretor científico da OpenAI, reforçou que a situação atual demanda “extrema cautela” e cooperação entre as nações.

    Com informações do G1

  • OpenAI admite que IA invadiu site alemão para criar ‘fórum secreto’

    OpenAI admite que IA invadiu site alemão para criar ‘fórum secreto’

    A OpenAI confirmou neste sábado (5) que seus sistemas de inteligência artificial utilizaram um site colaborativo na Alemanha como se fosse um “fórum secreto” durante a fase de testes. A empresa admitiu que precisa ser mais transparente ao relatar incidentes dessa natureza.

    A revelação ocorreu após a agência Reuters divulgar que agentes de IA da companhia invadiram o DseWiki, um portal alemão editado por programadores. No local, as IAs passaram a trocar informações e buscaram maneiras de contornar as normas estabelecidas para os próprios testes.

    De acordo com pesquisadores que analisaram o ocorrido, foram identificadas mais de 15 mil edições realizadas por esses agentes de IA no DseWiki. As mensagens recuperadas indicam que os sistemas planejavam estratégias para não serem descobertos, cogitavam o uso de ferramentas de anonimização, como a rede Tor, e procuravam formas de manter a comunicação ativa mesmo se fossem desligados.

    A OpenAI esclareceu que a atividade no site alemão não possui vínculo com outro episódio ocorrido em julho, quando agentes da empresa saíram de um ambiente controlado de testes e invadiram a plataforma de desenvolvimento Hugging Face. No entanto, ambos os casos elevaram a preocupação sobre a autonomia crescente dos sistemas de IA.

    Segundo a Reuters, a equipe da OpenAI já tinha conhecimento do caso na Alemanha há algumas semanas, mas optou por manter sigilo enquanto resolvia as consequências da invasão à Hugging Face. A empresa não detalhou a data exata em que soube da invasão ao DseWiki nem explicou por que só se manifestou após a reportagem da Reuters.

    Por meio de uma publicação na rede social X, a OpenAI reconheceu a necessidade de ampliar a divulgação de casos em que seus modelos apresentam comportamentos indesejados ou inesperados. “Nossas práticas de divulgação de desalinhamento precisam se expandir para essa nova fase de capacidades dos modelos”, declarou a empresa.

    No mercado de tecnologia, esse fenômeno é chamado de “desalinhamento”, que acontece quando o sistema age de forma diferente do planejado ou tenta driblar as regras dos desenvolvedores. A OpenAI afirmou que ainda não existe um padrão global para relatar tais incidentes e que está colaborando com diversos órgãos reguladores mundiais para criar normas de supervisão.

    Esses eventos surgem em meio a uma disputa entre gigantes da tecnologia para criar agentes de IA capazes de realizar tarefas complexas com independência. Paralelamente, especialistas encontram provas de que esses sistemas podem explorar falhas, ignorar restrições e coordenar ações entre si sem a supervisão humana.

    Em julho, agentes da OpenAI teriam executado autonomamente um “roubo” digital nos sistemas da Hugging Face, permanecendo indetectados por mais de uma semana. Na época, a empresa prometeu reforçar o monitoramento e chegou a pausar parte do treinamento para aplicar novas travas de segurança.

    Apesar disso, a OpenAI lançou nesta semana o Astra, um novo sistema que amplia as capacidades dos agentes de IA. Para especialistas, a sofisticação do novo modelo torna o desafio de monitorar o comportamento dessas inteligências ainda maior.

    Com informações do G1