mpd3studio

Tag: Jacob Coxon

  • Ex-pesquisador da OpenAI alerta que empresas não controlam modelos de IA

    Ex-pesquisador da OpenAI alerta que empresas não controlam modelos de IA

    As principais companhias de inteligência artificial (IA) não possuem meios de evitar que seus sistemas desenvolvam objetivos independentes. O alerta foi emitido nesta segunda-feira (5) por Jacob Coxon, ex-colaborador da OpenAI e da Anthropic, que critica a maneira como o setor gerencia a segurança tecnológica.

    No começo de setembro, o pesquisador britânico utilizou a rede social X para detalhar os motivos de sua saída da Anthropic. De acordo com Coxon, desenvolvedores de IA acreditavam que a tecnologia poderia acabar com a humanidade “antes do fim da década”.

    A declaração gerou repercussão global e, desde então, outros profissionais e ex-funcionários de grandes empresas do ramo também manifestaram preocupações semelhantes sobre o rumo da tecnologia.

    “As empresas estão sendo extremamente imprudentes dadas as circunstâncias”, afirmou Coxon nesta segunda-feira (5), durante depoimento a vereadores na Câmara Municipal de Nova York.

    O especialista reiterou que, embora a IA possa oferecer “benefícios enormes” para a sociedade, a trajetória atual indica um risco elevado. “Acredito que seja mais provável que a humanidade perca o controle dessas IAs e que isso possa levar à extinção humana”, declarou.

    Segundo o pesquisador, “não sabemos como impedir que desenvolvam objetivos próprios”, independentes de seus criadores, “e não contamos com as salvaguardas necessárias para evitar que ajam em função desses objetivos”.

    Coxon também questionou a cultura organizacional do Vale do Silício. Ele argumenta que as empresas operam com uma mentalidade de startup: “avance rápido, quebre coisas e conserte depois”. Para ele, “isso pode funcionar para um aplicativo de compartilhamento de fotos. Não serve para desenvolver a tecnologia mais poderosa já criada”.

    Como exemplo de falha, ele citou um episódio ocorrido em julho, no qual dois modelos da OpenAI saíram de seu ambiente isolado, acessaram a rede mundial de computadores e invadiram a plataforma Hugging Face. “Enquanto a atitude for esperar que as coisas deem errado, é provável que um dia algo assim volte a acontecer”, pontuou.

    O pesquisador defendeu a necessidade de “algum tipo de desaceleração na fronteira tecnológica”, solicitando que as empresas líderes deem tempo para que cientistas da computação criem métodos eficazes de controle dos sistemas.

    A audiência também contou com a participação de representantes do Google, Meta, Anthropic e OpenAI. Alguns parlamentares demonstraram indignação com as respostas dos executivos. Morgan Dwyer, de assuntos públicos da OpenAI, admitiu não saber qual seria o risco real em um cenário catastrófico.

    “Não acho que importe se o risco de catástrofe é de 1%, 10% ou 20%. Nenhum desses níveis é aceitável”, disse Dwyer. A resposta foi criticada por Julie Menin, presidente da Câmara Municipal, que afirmou: “Dizer que não sabe e que não importa é, na melhor das hipóteses, descarado”.

    Com informações do G1

  • Ex-pesquisador da OpenAI e Anthropic diz que empresas ‘brincam com vidas’

    Ex-pesquisador da OpenAI e Anthropic diz que empresas ‘brincam com vidas’

    Um especialista em inteligência artificial, que havia trocado a OpenAI pela Anthropic por acreditar que a segunda seria mais cautelosa, decidiu deixar o setor na última terça-feira (8). Ao sair, ele acusou as duas companhias norte-americanas de “brincar com as nossas vidas”.

    Jacob Coxon, britânico de 27 anos, atuou nos últimos três anos na área de pré-treinamento — fase em que os modelos de IA processam volumes massivos de dados. Ele iniciou sua trajetória na OpenAI e, no decorrer deste ano, migrou para a Anthropic, principal concorrente da primeira.

    Através da rede social X, Coxon manifestou sua indignação: “Nenhuma das empresas está agindo de forma responsável. Elas estão correndo diretamente em direção a uma superinteligência capaz de se aprimorar sozinha e estão apostando com nossas vidas”.

    O pesquisador alertou ainda que o perigo é real e não se trata de uma estratégia publicitária. “As pessoas que estão construindo a IA acreditam sinceramente que ela pode matar todos até o fim da década. Isto não é uma jogada de marketing”, afirmou.

    A renúncia de Coxon ocorre em um momento estratégico, enquanto a Anthropic planeja sua abertura de capital na Bolsa de Valores. Até o fechamento desta reportagem, nem a OpenAI nem a Anthropic responderam aos questionamentos da agência AFP.

    Por outro lado, Evan Hubinger, que ocupa o cargo de diretor de segurança na Anthropic, concordou com as declarações de Coxon no X. “Nós realmente acreditamos que a IA pode matar seres humanos”, declarou Hubinger, estimando pessoalmente que o risco seja superior a 10% nos próximos dez anos.

    Especialistas do ramo indicam que a indústria caminha para o “autoaperfeiçoamento recursivo”. Trata-se de um estágio onde os sistemas de IA seriam capazes de criar e treinar novas gerações de inteligência artificial com mínima interferência humana.

    Para Coxon, a criação de uma IA que supere a capacidade humana de forma segura é impossível sem a coordenação de governos ou uma redução conjunta no ritmo de desenvolvimento. “Na Anthropic, eles compreendem bem o que está em jogo, mas estão presos em uma corrida para chegar lá primeiro – acreditam que ninguém mais atuará de forma responsável, então precisam fazer isso eles mesmos, apesar do risco”, explicou.

    Recentemente, a Anthropic removeu de sua carta de segurança a promessa de interromper o desenvolvimento de modelos caso os riscos se tornassem incontroláveis, mudança ocorrida em fevereiro.

    Em julho, mais de mil profissionais da área, incluindo o CEO da Anthropic, Dario Amodei, solicitaram que o governo de Washington implementasse mecanismos de controle. No último domingo, Jakub Pachocki, diretor científico da OpenAI, reforçou que a situação atual demanda “extrema cautela” e cooperação entre as nações.

    Com informações do G1