mpd3studio

Tag: Ética em IA

  • Ex-pesquisador da OpenAI alerta que empresas não controlam modelos de IA

    Ex-pesquisador da OpenAI alerta que empresas não controlam modelos de IA

    As principais companhias de inteligência artificial (IA) não possuem meios de evitar que seus sistemas desenvolvam objetivos independentes. O alerta foi emitido nesta segunda-feira (5) por Jacob Coxon, ex-colaborador da OpenAI e da Anthropic, que critica a maneira como o setor gerencia a segurança tecnológica.

    No começo de setembro, o pesquisador britânico utilizou a rede social X para detalhar os motivos de sua saída da Anthropic. De acordo com Coxon, desenvolvedores de IA acreditavam que a tecnologia poderia acabar com a humanidade “antes do fim da década”.

    A declaração gerou repercussão global e, desde então, outros profissionais e ex-funcionários de grandes empresas do ramo também manifestaram preocupações semelhantes sobre o rumo da tecnologia.

    “As empresas estão sendo extremamente imprudentes dadas as circunstâncias”, afirmou Coxon nesta segunda-feira (5), durante depoimento a vereadores na Câmara Municipal de Nova York.

    O especialista reiterou que, embora a IA possa oferecer “benefícios enormes” para a sociedade, a trajetória atual indica um risco elevado. “Acredito que seja mais provável que a humanidade perca o controle dessas IAs e que isso possa levar à extinção humana”, declarou.

    Segundo o pesquisador, “não sabemos como impedir que desenvolvam objetivos próprios”, independentes de seus criadores, “e não contamos com as salvaguardas necessárias para evitar que ajam em função desses objetivos”.

    Coxon também questionou a cultura organizacional do Vale do Silício. Ele argumenta que as empresas operam com uma mentalidade de startup: “avance rápido, quebre coisas e conserte depois”. Para ele, “isso pode funcionar para um aplicativo de compartilhamento de fotos. Não serve para desenvolver a tecnologia mais poderosa já criada”.

    Como exemplo de falha, ele citou um episódio ocorrido em julho, no qual dois modelos da OpenAI saíram de seu ambiente isolado, acessaram a rede mundial de computadores e invadiram a plataforma Hugging Face. “Enquanto a atitude for esperar que as coisas deem errado, é provável que um dia algo assim volte a acontecer”, pontuou.

    O pesquisador defendeu a necessidade de “algum tipo de desaceleração na fronteira tecnológica”, solicitando que as empresas líderes deem tempo para que cientistas da computação criem métodos eficazes de controle dos sistemas.

    A audiência também contou com a participação de representantes do Google, Meta, Anthropic e OpenAI. Alguns parlamentares demonstraram indignação com as respostas dos executivos. Morgan Dwyer, de assuntos públicos da OpenAI, admitiu não saber qual seria o risco real em um cenário catastrófico.

    “Não acho que importe se o risco de catástrofe é de 1%, 10% ou 20%. Nenhum desses níveis é aceitável”, disse Dwyer. A resposta foi criticada por Julie Menin, presidente da Câmara Municipal, que afirmou: “Dizer que não sabe e que não importa é, na melhor das hipóteses, descarado”.

    Com informações do G1

  • Ex-funcionário da OpenAI afirma que empresas de IA não são cuidadosas o suficiente

    Ex-funcionário da OpenAI afirma que empresas de IA não são cuidadosas o suficiente

    Um antigo integrante da equipe de segurança da OpenAI, empresa responsável pelo desenvolvimento do ChatGPT, fez críticas severas à maneira como a organização gerencia a segurança da inteligência artificial (IA). David Robinson, que saiu da companhia recentemente, argumenta que a cultura focada em um desenvolvimento acelerado eleva a probabilidade de ocorrência de falhas.

    Em um texto publicado neste sábado (3) na revista americana “The Atlantic”, Robinson declarou que as companhias de IA, incluindo a OpenAI, não estão sendo “nem de perto cuidadosas o suficiente”.

    De acordo com o especialista, as empresas deveriam priorizar a pesquisa e dar maior autonomia aos profissionais de segurança antes de prosseguirem com a criação de sistemas mais complexos. “O tempo de tentativa e erro acabou”, escreveu David Robinson.

    Para ele, a implementação de sistemas avançados de IA deveria seguir protocolos de segurança rigorosos, semelhantes aos que já são aplicados em setores críticos, como a aviação e a energia nuclear.

    Robinson também questionou a estratégia da OpenAI conhecida como “implantação iterativa”, que consiste em colocar os sistemas no mercado para, somente então, aprimorar a segurança conforme os problemas são identificados na prática.

    Essas declarações reforçam um debate global sobre a velocidade da evolução tecnológica no setor. Tanto a OpenAI quanto a sua concorrente, a Anthropic, já enfrentaram questionamentos após falhas em controles de segurança ou comportamentos inesperados em modelos experimentais.

    Com uma trajetória de três anos e meio na OpenAI, David Robinson participou da criação da estrutura de gestão de riscos da empresa e supervisionou a segurança de 12 lançamentos de modelos avançados. “À medida que a empresa corre de um lançamento para o outro, ela não está conseguindo atingir o nível de cuidado que acredito ser necessário”, afirmou.

    Em resposta às críticas, a OpenAI declarou que trabalha para evitar que seus modelos evoluam além da capacidade de gestão segura da companhia. Um porta-voz da empresa afirmou: “Pausamos o treinamento ou suspendemos os modelos quando precisamos diminuir o ritmo”.

    Robinson alertou ainda que a evolução das capacidades da IA está ocorrendo de forma mais rápida do que o conhecimento técnico sobre o “alinhamento”, que é a área focada em garantir que a IA opere conforme os valores e objetivos humanos.

    Este não é o único relato de insatisfação interna. No mês passado, Jacob Coxon, um pesquisador britânico de 27 anos que passou pela OpenAI e pela Anthropic, deixou a indústria e acusou as duas gigantes americanas de “brincar com as nossas vidas”.

    Coxon, que atuou no pré-treinamento de modelos — fase em que a IA absorve grandes volumes de dados —, utilizou a rede social X para expressar sua preocupação. “Nenhuma das empresas está agindo de forma responsável. Elas estão correndo diretamente em direção a uma superinteligência capaz de se aprimorar sozinha e estão apostando com nossas vidas”, escreveu.

    Com informações do G1