Notícias

Apr 24, 2024

IA ‘está piorando’ ¦ IA ‘perderá empregos na Índia’ (provavelmente não está ¦ provavelmente não irá)

Por: Richi Jennings em 20 de julho de 2023 Bem-vindo ao The Long View - onde examinamos as notícias da semana e as reduzimos ao essencial. Vamos descobrir o que realmente importa. Esta semana, um enigma: sobre o

Por: Richi Jennings em 20 de julho de 2023

Bem-vindo ao The Long View - onde examinamos as notícias da semana e reduzimos ao essencial. Vamos malharo que realmente importa.

Esta semana, um enigma: por um lado, os pesquisadores dizem que o ChatGPT está perdendo o controle; e por outro lado, ouvimos dizer que os trabalhos terceirizados de codificação na Índia serão substituídos pela IA.

Primeiro esta semana: os pesquisadores dizem que o LLM da OpenAI está apresentando resultados muito piores do que há alguns meses. Notavelmente, está produzindocódigo mais bugado.

Os revisores da pesquisa apontam para problemas metodológicos no estudo. Mas o maior problema pode ser queIA “aberta” é tudo menos.

Benj Edwards:Estudo afirma que ChatGPT está perdendo capacidade

“Deixado tropeçando no escuro” Pesquisadores da Universidade de Stanford e da Universidade da Califórnia, Berkeley [carregaram uma pré-impressão] artigo que pretende mostrar mudanças nos resultados do GPT-4. … Usando o acesso à API, eles testaram as versões de março e junho de 2023 desses modelos em tarefas como… geração de código.…[Isso] alimenta uma crença comum, mas não comprovada, de que o modelo de linguagem de IA piorou em tarefas de codificação e composição ao longo do tempo. últimos meses. … Teorias populares sobre por que incluir modelos de “destilação” OpenAI para reduzir sua sobrecarga computacional, … treinamento para reduzir resultados prejudiciais, [e] teorias de conspiração como OpenAI reduzindo as capacidades de codificação do GPT-4 para que mais pessoas paguem pelo GitHub Copilot.…Enquanto isso, A OpenAI negou consistentemente qualquer alegação de que a capacidade do GPT-4 diminuiu. [Mas] com um modelo de caixa preta fechada como o GPT-4, os pesquisadores ficam tropeçando no escuro tentando definir as propriedades de um sistema que pode ter componentes desconhecidos adicionais, como filtros de segurança, ou os recentemente rumores de oito “misturas de modelos de especialistas” trabalhando em conjunto.

Katyanna Quach:LLMs estão ficando mais burros

“Seja cauteloso” A equipe… examinou as capacidades de codificação de ambos os modelos… em uma lista de 50 desafios fáceis de programação retirados do conjunto LeetCode. Uma resposta contendo código livre de erros que fornece a resposta correta é considerada código diretamente executável. O número de scripts diretamente executáveis ​​gerados pelo GPT-4 caiu de 52% para 10% no mesmo período.…[Eles] alertam os desenvolvedores para testarem o comportamento dos modelos periodicamente, caso quaisquer ajustes e alterações tenham efeitos indiretos em outros lugares. em aplicativos e serviços que dependem deles. …As empresas que dependem de software como as tecnologias da OpenAI para alimentar os seus produtos e serviços…devem ter cuidado com a forma como os seus comportamentos podem mudar ao longo do tempo.

Definitivamente está piorando na codificação, pensa r3trohack3r:

Durante o programa de acesso antecipado [dei] tarefas de programação [para] GPT-4 regularmente. [Mas] o GPT-4 que uso agora parece uma sombra do GPT-4 que usei [então]. Naquela época, o GPT-4 portava o dirbuster para C multithread compatível com POSIX apenas pelo nome. Foram necessários três prompts.… Na maioria das tarefas de programação que realizei, ele poderia ser executado com um pouco de orientação. … Agora, é basicamente inútil me ajudar em tarefas de programação, além de problemas triviais.

Independentemente de a GPT estar perdendo o controle, Simon Willison aponta para o problema maior:

Honestamente, a falta de notas de lançamento e transparência pode ser a maior história aqui. Como devemos construir software confiável em cima de uma plataforma que muda de forma completamente não documentada e misteriosa a cada poucos meses?

Não acredite no hype do “processamento de linguagem natural”, diz Matthew Slyman:

OpenAI/ChatGPT é apenas um dos muitos sistemas AI NLP. Seus produtos são bons, mas existem sistemas melhores. Amplie seus horizontes! Esses sistemas estão em desenvolvimento há aproximadamente 10 anos (a partir de aproximadamente 70 anos de pesquisas anteriores). O progresso está ficando mais rápido.…A cada poucas gerações de tecnologia, veremos novos recursos surgirem em sistemas de IA/ML. Caso contrário, o progresso será incremental. Acabamos de testemunhar uma mudança radical desse tipo na PNL. A última grande “mudança radical” ocorreu há 10 anos. [Mas] onde estão todos aqueles carros autônomos que nos foram prometidos?…Não, o ChatGPT não tornará 90% dos empregos obsoletos dentro de 6 a 12 meses! … A maioria das pessoas que vendem serviços nas redes sociais como especialistas em IA/ML e “líderes inovadores” são charlatães.