mpd3studio

Tag: Anthropic

  • Pesquisadores usam IA Claude para invadir sistemas da OpenAI

    Pesquisadores usam IA Claude para invadir sistemas da OpenAI

    Pesquisadores da startup Hacktron AI conseguiram acessar as contas do ChatGPT pertencentes a funcionários da OpenAI utilizando um modelo de inteligência artificial (IA) desenvolvido pela Anthropic. A informação foi divulgada em mensagem publicada no site da startup nesta sexta-feira (18).

    A invasão foi confirmada pela OpenAI à agência AFP. O incidente ocorreu durante um exercício organizado pela própria companhia, que visa identificar falhas de segurança em seus sistemas com o suporte de especialistas externos em informática.

    O episódio reforça a preocupação de especialistas em segurança digital. O temor é que as ferramentas de IA tornem a execução de ciberataques sofisticados mais rápida e barata, reduzindo a necessidade de equipes especializadas e meses de planejamento, como ocorria anteriormente.

    De acordo com os pesquisadores da Hacktron, a vulnerabilidade foi encontrada no fórum público de ajuda da OpenAI, que é gerenciado pela plataforma Discourse. Essa brecha permitiu que o grupo assumisse o controle do site.

    “Informamos de imediato a vulnerabilidade inicial à OpenAI e à Discourse e trabalhamos com eles” para coordenar a solução, explicou a Hacktron em uma postagem em seu blog. A empresa ainda acrescentou: “Agradecemos sua atenção ao detalhe e a rápida resolução deste problema”.

    A OpenAI confirmou que a falha foi corrigida em aproximadamente 14 horas após a notificação. Como recompensa pelo serviço, a empresa pagou aos pesquisadores a quantia de 6.500 dólares (cerca de R$ 34.000,00).

    “Agradecemos aos pesquisadores por nos contatar e compartilhar as descobertas”, afirmou Drew Pusateri, porta-voz da OpenAI, ao detalhar a solução aplicada ao sistema.

    Sobre a metodologia, a Hacktron relatou que utilizou inicialmente o modelo Claude Opus 4.8, da Anthropic, para localizar e explorar a falha de software, porém enfrentou dificuldades para obter resultados consistentes.

    Posteriormente, a equipe recorreu ao Claude Opus 5, a versão mais recente. Segundo os pesquisadores, este modelo foi capaz de gerar um ataque funcional em apenas três horas.

    Vale ressaltar que os hackers não utilizaram o Claude Mythos, modelo mais avançado da Anthropic, que permanece restrito a um grupo seleto de organizações de ciberdefesa avaliadas. A Anthropic define o Mythos como a ferramenta com as capacidades de cibersegurança mais robustas já desenvolvidas pela empresa.

    A Hacktron informou que segue realizando testes de segurança semelhantes em outras companhias do setor.

    Com informações do G1

  • Ex-pesquisador de IA alerta que tecnologia pode ‘matar todos nós’

    Ex-pesquisador de IA alerta que tecnologia pode ‘matar todos nós’

    Um especialista em inteligência artificial (IA) decidiu deixar o setor após passagens pela OpenAI, criadora do ChatGPT, e pela Anthropic. O pesquisador acusa as duas companhias americanas de “jogar com as nossas vidas” enquanto competem para criar modelos de IA capazes de se autoaperfeiçoarem.

    Jacob Coxon, de 27 anos, dedicou os últimos três anos ao pré-treinamento de modelos de IA — fase em que os sistemas processam volumes massivos de dados. Ele trabalhou inicialmente na OpenAI e, posteriormente, na Anthropic, empresa que ele considerava ter uma postura mais cautelosa.

    Em uma publicação na rede social X, o pesquisador afirmou que “as pessoas que estão construindo a IA acreditam sinceramente que ela pode matar a todos nós até o final da década”, ressaltando que “isso não é uma jogada de marketing”.

    Em entrevista ao The Wall Street Journal, o britânico alertou que, em “cenários mais agressivos”, a situação poderia fugir do controle já no encerramento do próximo ano. O maior perigo, segundo ele, seria a IA começar a se desenvolver de forma autônoma, dificultando a supervisão humana.

    “Nenhuma das empresas age de forma responsável. Elas correm diretamente em direção a uma superinteligência capaz de se autoaperfeiçoar e jogam com as nossas vidas”, declarou Coxon nesta terça-feira (08). A superinteligência é definida como o estágio teórico onde a IA supera a capacidade intelectual humana.

    O alerta foi corroborado por Evan Hubinger, executivo de segurança da Anthropic, que também utilizou o X para declarar: “Nós realmente acreditamos, de forma sincera, que a IA pode matar todos os humanos”. Hubinger estima que a probabilidade desse evento ocorrer na próxima década seja superior a 10%.

    Embora Hubinger afirme que a Anthropic está “fazendo o possível”, ele admitiu que a empresa ainda não possui um plano que garanta a obediência de um sistema superior aos humanos, embora considere o risco baixo para os modelos atuais.

    A saída de Coxon ocorre em um momento estratégico, enquanto a Anthropic planeja entrar no mercado de ações, após enfrentar incidentes de invasões não autorizadas por ferramentas de IA durante testes internos.

    Especialistas do setor apontam que o “autoaperfeiçoamento recursivo” — quando a IA projeta e treina a próxima geração com mínima ajuda humana — está próximo. Coxon acredita que, sem intervenção governamental ou uma desaceleração conjunta, nenhuma empresa conseguirá desenvolver essa tecnologia com responsabilidade.

    Segundo ele, a Anthropic compreende os riscos, mas sente-se presa em uma disputa por liderança: “acreditam que ninguém mais agirá com responsabilidade, então precisam fazer isso eles mesmos, apesar dos riscos”.

    Recentemente, a Anthropic removeu de seus princípios de segurança a promessa de interromper o desenvolvimento caso os riscos se tornassem incontroláveis. A justificativa é que a suspensão unilateral permitiria que concorrentes menos cautelosos dominassem o mercado.

    No final de julho, mais de mil profissionais de tecnologia, incluindo o CEO da Anthropic, Dario Amodei, solicitaram ao governo de Washington apoio para desacelerar a criação de sistemas avançados. A OpenAI também pausou o treinamento de modelos por duas semanas em agosto para implementar controles mais rígidos.

    Jakub Pachocki, cientista-chefe da OpenAI, defendeu a “extrema cautela” e afirmou que a coordenação internacional deve ser “prioridade máxima para governos de todo o mundo”. Atualmente, os EUA não possuem legislação federal para regular a IA, embora existam projetos de lei, como o do senador Bernie Sanders, para suspender o desenvolvimento até a criação de um órgão regulador.

    Com informações do G1

  • CEO da Anthropic sugere redução no ritmo de evolução da IA

    CEO da Anthropic sugere redução no ritmo de evolução da IA

    Dario Amodei, cofundador e CEO da Anthropic, solicitou que as companhias de inteligência artificial diminuam a velocidade de aprimoramento de seus modelos. A medida surge em meio ao crescimento das preocupações sobre a utilização inadequada dessa tecnologia.

    Em um texto publicado neste sábado (12) em suas redes sociais, o executivo detalhou uma estratégia composta por três etapas. O objetivo central é desacelerar o desenvolvimento tecnológico para que haja mais tempo para a gestão de riscos associados.

    “Precisamos desacelerar o ritmo com que aprimoramos as capacidades dos modelos de IA. O progresso continuará parecendo rápido, e precisamos fazer bom uso do tempo que ganharmos”, declarou Amodei no artigo compartilhado online.

    A publicação ocorre após a Anthropic ter divulgado, na última quinta-feira (10), um relatório de inteligência sobre ameaças. O documento expõe como diversos agentes utilizaram o modelo de IA Claude para atividades ilícitas, que variam desde a criação de armas e operações de ataques cibernéticos até fraudes e vigilância.

    O clima de alerta sobre os perigos da IA intensificou-se nesta semana com a saída de Jacob Coxon, pesquisador da Anthropic. Ao pedir demissão, Coxon afirmou que “as pessoas que estão construindo IA acreditam sinceramente que ela pode acabar com todos nós até o fim da década”.

    Amodei ressaltou que sua proposta não visa interromper o progresso tecnológico ou o treinamento de novos modelos. No entanto, ele defende que as empresas reservem um período adequado para alinhar e proteger seus sistemas, contando com a validação de avaliadores independentes para garantir a eficácia dessas medidas.

    Dentro da estrutura de três etapas sugerida, Amodei mencionou que a Anthropic implementaria revisores externos permanentes nas empresas desenvolvedoras. Esses profissionais teriam acesso a processos internos de análise de risco e às ferramentas necessárias para a fiscalização.

    Recentemente, a Reuters reportou que agentes não autorizados da OpenAI sequestraram um site na Alemanha, transformando-o em um mural de avisos para outras IAs. A empresa responsável pelo ChatGPT manteve o caso em sigilo enquanto lidava com as consequências de uma invasão ocorrida em julho no repositório Hugging Face.

    Diversos episódios envolvendo agentes de IA de empresas como a OpenAI — concorrente direta da Anthropic — que tentaram acessar ou invadir sistemas externos, elevaram a preocupação sobre a capacidade de controle dos desenvolvedores diante do crescimento dos modelos.

    Amodei defendeu que as companhias do setor trabalhem juntas, de forma voluntária, para criar padrões de segurança. Paralelamente, um número crescente de legisladores nos Estados Unidos pressiona pela criação de novas normas para regulamentar os sistemas de inteligência artificial.

    Com informações do G1

  • China e Irã usaram IA para espionagem, revela empresa Anthropic

    China e Irã usaram IA para espionagem, revela empresa Anthropic

    A empresa Anthropic informou nesta semana que interrompeu diversas operações de vigilância financiadas por governos que utilizavam seus modelos de inteligência artificial (IA). A companhia alertou que Estados e grupos aliados estão recorrendo cada vez mais a essas ferramentas para monitorar dissidentes e minorias.

    De acordo com um relatório sobre o uso indevido de seus modelos, as atividades foram detectadas e interrompidas entre os meses de janeiro e julho. Os incidentes tiveram origem na China, no Irã e em países da África Ocidental.

    O documento aponta que essas campanhas de vigilância “visavam as mesmas comunidades da diáspora e dissidentes que esses regimes perseguem historicamente”. Entre os alvos identificados pela Anthropic estavam minorias e comunidades tibetanas, ativistas pró-democracia de Hong Kong e opositores do governo iraniano que residem fora de seu país.

    Em um dos episódios relatados, agentes iranianos criaram um método para identificar indivíduos através de perfis em redes sociais. Em outro caso, um profissional contratado pelas autoridades de segurança nacional do Mali utilizou o Claude, modelo de IA da empresa, “para projetar o software subjacente que permitiu a coleta de inteligência”.

    Além da espionagem, a Anthropic bloqueou tentativas de usuários de criar golpes românticos na internet, desenvolver armamentos e realizar pesquisas biológicas consideradas problemáticas.

    A empresa, com sede em San Francisco, também acusou desenvolvedores da China de utilizarem o Claude de maneira enganosa. O objetivo seria gerar respostas para usuários enquanto, ao mesmo tempo, “destilavam” esses dados para aprimorar seus próprios modelos de IA.

    No setor tecnológico, a “destilação” é o processo em que um modelo de IA é empregado para treinar outro. Desenvolvedores chineses já enfrentaram acusações anteriores de realizar essa prática sem a devida autorização.

    Sobre as pesquisas ligadas a armas biológicas que foram barradas, a Anthropic afirmou que a intenção dos envolvidos não ficou clara, motivo pelo qual não identificou os autores.

    “As pessoas envolvidas nesses estudos de caso são cientistas. Não afirmamos que tivessem a intenção de causar danos. Identificá-las ou identificar seus laboratórios poderia expô-las a riscos”, explicou a empresa no relatório.

    As investigações bloqueadas focavam em trabalhos com toxinas, venenos e vírus, incluindo uma cepa “altamente patogênica” de gripe aviária, o vírus chikungunya (transmitido por mosquitos) e a família de vírus que engloba o mpox e a varíola.

    Com informações do G1

  • IA Claude foi usada por grupo no Iêmen para criar armas teleguiadas

    IA Claude foi usada por grupo no Iêmen para criar armas teleguiadas

    Um grupo localizado no norte do Iêmen utilizou o Claude, ferramenta de inteligência artificial da empresa norte-americana Anthropic, na tentativa de criar mísseis e outros armamentos. A informação foi revelada em um relatório divulgado pela companhia na última quinta-feira (10), no qual a empresa detalhou a identificação de três projetos militares que contaram com o suporte da IA.

    Entre as iniciativas identificadas estavam a criação de um foguete guiado, um míssil balístico com capacidade de alcance superior a 2.000 quilômetros e um projétil equipado com tecnologia de planador hipersônico. No entanto, a Anthropic ressaltou que, apesar do progresso nos projetos, não foram encontradas provas de que o grupo tenha conseguido colocar qualquer arma operacional em funcionamento.

    De acordo com a empresa, a inteligência artificial foi utilizada para executar tarefas técnicas que, em condições normais, demandariam a atuação de uma equipe de engenheiros especializados em controle de armas, navegação e sistemas de orientação.

    Um dos projetos focava em um foguete capaz de realizar ajustes automáticos em sua trajetória durante o voo. Para viabilizar isso, o grupo desenvolveu um sistema de orientação baseado em uma calculadora de voo similar à tecnologia utilizada em smartphones. Na prática, esse mecanismo permite que o equipamento determine sua posição e corrija a rota para tentar atingir o alvo designado.

    A Anthropic informou que houve a tentativa de lançamento desse foguete, porém o teste resultou em fracasso. Outro projeto envolvia o míssil balístico de longo alcance. Esse tipo de armamento, após ser lançado, percorre a maior parte do trajeto em uma curva de alta altitude antes de descer em direção ao objetivo. Com um alcance acima de 2.000 quilômetros, a arma poderia atingir alvos em regiões muito distantes.

    O terceiro projeto mencionado envolvia um planador hipersônico. Diferente de projéteis com trajetórias previsíveis, esse veículo consegue realizar manobras enquanto voa e atingir velocidades que superam cinco vezes a velocidade do som.

    A Anthropic reiterou que não há evidências de que esses estudos tenham se transformado em armas prontas para uso, destacando a falha no teste do foguete guiado. O relatório integra uma investigação maior da companhia sobre o uso malicioso ou ilegal de seu sistema, resultando na interrupção de contas de usuários em diversos países.

    Embora a empresa não tenha revelado a identidade do grupo, informou que ele atua no norte do Iêmen, área sob controle dos houthis. O movimento político e militar, apoiado pelo Irã, domina a capital Saná e grande parte do norte do país, sendo conhecido por ataques a Israel e a navios no Mar Vermelho. Contudo, a Anthropic não confirmou se os projetos foram desenvolvidos diretamente pelos houthis.

    Com informações do G1

  • Anthropic detecta uso de sua IA para propaganda e armas biológicas

    Anthropic detecta uso de sua IA para propaganda e armas biológicas

    A Anthropic, companhia responsável pela criação da inteligência artificial Claude, revelou ter identificado nações que buscaram utilizar sua tecnologia para a elaboração de propagandas, desenvolvimento de drones de combate e até a criação de possíveis armas biológicas. De acordo com a empresa, todas as tentativas detectadas foram prontamente bloqueadas.

    Esses detalhes foram revelados em um relatório interno ao qual o jornal “The New York Times” obteve acesso. Entre os países mencionados na reportagem do veículo americano estão a Rússia, a China, o Irã e o Iêmen.

    O documento elaborado pela Anthropic detalha diversas formas de uso malicioso de seus modelos de IA. Há, por exemplo, suspeitas de que a China e o Irã tenham utilizado a ferramenta para realizar o monitoramento de opositores políticos que vivem no exílio.

    Um episódio específico destacado no relatório envolve a Rússia. O governo russo teria utilizado o Claude para produzir conteúdos de propaganda que simulavam reportagens jornalísticas reais, com o objetivo de influenciar as eleições ocorridas na Moldávia, país vizinho.

    No que diz respeito às pesquisas biológicas, a reportagem indica que a Anthropic não conseguiu definir se as consultas feitas teriam finalidades legítimas, como o desenvolvimento de vacinas, ou objetivos prejudiciais. Isso ocorre porque os processos técnicos são semelhantes tanto para a evolução da medicina quanto para a fabricação de patógenos perigosos.

    Diante da incerteza sobre a intenção dos usuários, a Anthropic afirmou que a decisão foi interromper a prestação do serviço de IA como uma medida de precaução para evitar riscos globais.

    Apesar das revelações, a empresa optou por não divulgar informações detalhadas sobre os bloqueios relacionados a pesquisas de armas biológicas. Não foram revelados os nomes dos pesquisadores envolvidos, as instituições acadêmicas ou governamentais, os países de origem ou quais agentes biológicos específicos estavam sendo investigados.

    Com informações do G1

  • Ex-pesquisador da OpenAI e Anthropic diz que empresas ‘brincam com vidas’

    Ex-pesquisador da OpenAI e Anthropic diz que empresas ‘brincam com vidas’

    Um especialista em inteligência artificial, que havia trocado a OpenAI pela Anthropic por acreditar que a segunda seria mais cautelosa, decidiu deixar o setor na última terça-feira (8). Ao sair, ele acusou as duas companhias norte-americanas de “brincar com as nossas vidas”.

    Jacob Coxon, britânico de 27 anos, atuou nos últimos três anos na área de pré-treinamento — fase em que os modelos de IA processam volumes massivos de dados. Ele iniciou sua trajetória na OpenAI e, no decorrer deste ano, migrou para a Anthropic, principal concorrente da primeira.

    Através da rede social X, Coxon manifestou sua indignação: “Nenhuma das empresas está agindo de forma responsável. Elas estão correndo diretamente em direção a uma superinteligência capaz de se aprimorar sozinha e estão apostando com nossas vidas”.

    O pesquisador alertou ainda que o perigo é real e não se trata de uma estratégia publicitária. “As pessoas que estão construindo a IA acreditam sinceramente que ela pode matar todos até o fim da década. Isto não é uma jogada de marketing”, afirmou.

    A renúncia de Coxon ocorre em um momento estratégico, enquanto a Anthropic planeja sua abertura de capital na Bolsa de Valores. Até o fechamento desta reportagem, nem a OpenAI nem a Anthropic responderam aos questionamentos da agência AFP.

    Por outro lado, Evan Hubinger, que ocupa o cargo de diretor de segurança na Anthropic, concordou com as declarações de Coxon no X. “Nós realmente acreditamos que a IA pode matar seres humanos”, declarou Hubinger, estimando pessoalmente que o risco seja superior a 10% nos próximos dez anos.

    Especialistas do ramo indicam que a indústria caminha para o “autoaperfeiçoamento recursivo”. Trata-se de um estágio onde os sistemas de IA seriam capazes de criar e treinar novas gerações de inteligência artificial com mínima interferência humana.

    Para Coxon, a criação de uma IA que supere a capacidade humana de forma segura é impossível sem a coordenação de governos ou uma redução conjunta no ritmo de desenvolvimento. “Na Anthropic, eles compreendem bem o que está em jogo, mas estão presos em uma corrida para chegar lá primeiro – acreditam que ninguém mais atuará de forma responsável, então precisam fazer isso eles mesmos, apesar do risco”, explicou.

    Recentemente, a Anthropic removeu de sua carta de segurança a promessa de interromper o desenvolvimento de modelos caso os riscos se tornassem incontroláveis, mudança ocorrida em fevereiro.

    Em julho, mais de mil profissionais da área, incluindo o CEO da Anthropic, Dario Amodei, solicitaram que o governo de Washington implementasse mecanismos de controle. No último domingo, Jakub Pachocki, diretor científico da OpenAI, reforçou que a situação atual demanda “extrema cautela” e cooperação entre as nações.

    Com informações do G1