{"id":18493,"date":"2018-06-20T11:27:11","date_gmt":"2018-06-20T15:27:11","guid":{"rendered":"http:\/\/blogdalucianaoliveira.com.br\/blog\/?p=18493"},"modified":"2018-06-20T11:27:11","modified_gmt":"2018-06-20T15:27:11","slug":"kate-crawford-estamos-injetando-nos-algoritmos-as-nossas-limitacoes-a-nossa-forma-de-marginalizar","status":"publish","type":"post","link":"http:\/\/blogdalucianaoliveira.com.br\/blog\/2018\/06\/20\/kate-crawford-estamos-injetando-nos-algoritmos-as-nossas-limitacoes-a-nossa-forma-de-marginalizar\/","title":{"rendered":"Kate Crawford: \u201cEstamos injetando nos algoritmos as nossas limita\u00e7\u00f5es, a nossa forma de marginalizar\u201d"},"content":{"rendered":"<div class=\"articulo-encabezado-texto\">\n<div id=\"articulo-titulares\" class=\"articulo-titulares\">\n<div class=\"articulo-subtitulos\">\n<h2 class=\"articulo-subtitulo\"><img data-recalc-dims=\"1\" loading=\"lazy\" decoding=\"async\" data-attachment-id=\"18494\" data-permalink=\"http:\/\/blogdalucianaoliveira.com.br\/blog\/2018\/06\/20\/kate-crawford-estamos-injetando-nos-algoritmos-as-nossas-limitacoes-a-nossa-forma-de-marginalizar\/algo\/\" data-orig-file=\"https:\/\/i0.wp.com\/blogdalucianaoliveira.com.br\/blog\/wp-content\/uploads\/2018\/06\/algo.jpg?fit=1960%2C1102\" data-orig-size=\"1960,1102\" data-comments-opened=\"0\" data-image-meta=\"{&quot;aperture&quot;:&quot;0&quot;,&quot;credit&quot;:&quot;&quot;,&quot;camera&quot;:&quot;&quot;,&quot;caption&quot;:&quot;&quot;,&quot;created_timestamp&quot;:&quot;0&quot;,&quot;copyright&quot;:&quot;&quot;,&quot;focal_length&quot;:&quot;0&quot;,&quot;iso&quot;:&quot;0&quot;,&quot;shutter_speed&quot;:&quot;0&quot;,&quot;title&quot;:&quot;&quot;,&quot;orientation&quot;:&quot;0&quot;}\" data-image-title=\"algo\" data-image-description=\"\" data-image-caption=\"\" data-medium-file=\"https:\/\/i0.wp.com\/blogdalucianaoliveira.com.br\/blog\/wp-content\/uploads\/2018\/06\/algo.jpg?fit=300%2C169\" data-large-file=\"https:\/\/i0.wp.com\/blogdalucianaoliveira.com.br\/blog\/wp-content\/uploads\/2018\/06\/algo.jpg?fit=600%2C338\" class=\"alignnone size-full wp-image-18494\" src=\"https:\/\/i0.wp.com\/blogdalucianaoliveira.com.br\/blog\/wp-content\/uploads\/2018\/06\/algo.jpg?resize=600%2C337\" alt=\"algo\" width=\"600\" height=\"337\" srcset=\"https:\/\/i0.wp.com\/blogdalucianaoliveira.com.br\/blog\/wp-content\/uploads\/2018\/06\/algo.jpg?w=1960 1960w, https:\/\/i0.wp.com\/blogdalucianaoliveira.com.br\/blog\/wp-content\/uploads\/2018\/06\/algo.jpg?resize=300%2C169 300w, https:\/\/i0.wp.com\/blogdalucianaoliveira.com.br\/blog\/wp-content\/uploads\/2018\/06\/algo.jpg?resize=768%2C432 768w, https:\/\/i0.wp.com\/blogdalucianaoliveira.com.br\/blog\/wp-content\/uploads\/2018\/06\/algo.jpg?resize=1024%2C576 1024w, https:\/\/i0.wp.com\/blogdalucianaoliveira.com.br\/blog\/wp-content\/uploads\/2018\/06\/algo.jpg?resize=534%2C300 534w, https:\/\/i0.wp.com\/blogdalucianaoliveira.com.br\/blog\/wp-content\/uploads\/2018\/06\/algo.jpg?w=1200 1200w, https:\/\/i0.wp.com\/blogdalucianaoliveira.com.br\/blog\/wp-content\/uploads\/2018\/06\/algo.jpg?w=1800 1800w\" sizes=\"auto, (max-width: 600px) 100vw, 600px\" \/><\/h2>\n<h2 class=\"articulo-subtitulo\">Pesquisadora da Microsoft luta contra padr\u00f5es usados pela intelig\u00eancia artificial, cujo vi\u00e9s reproduz estere\u00f3tipos<\/h2>\n<\/div>\n<\/div>\n<\/div>\n<p><!--more--><\/p>\n<aside id=\"compartir_superior\" class=\"compartir\">\n<div class=\"compartir__interior\">\u00a0No El Pa\u00eds<\/div>\n<div class=\"compartir__interior\">\n<p>Kate Crawford (Sydney, Austr\u00e1lia) n\u00e3o revela o ano em que nasceu. Qualquer empresa poderia usar esse dado para tentar lhe vender um produto ou mesmo influenciar sua inten\u00e7\u00e3o de voto. \u201cOnde voc\u00ea vive, sua idade, seu g\u00eanero ou inclusive seus amigos&#8230; Parecem informa\u00e7\u00f5es banais, mas \u00e9 preciso estar consciente do que podem fazer com isso\u201d, explica. Sua luta n\u00e3o \u00e9 por obrigar as empresas tecnol\u00f3gicas a pagarem pelo\u00a0<a href=\"https:\/\/brasil.elpais.com\/brasil\/2018\/03\/01\/economia\/1519921981_137226.html\">uso de dados pessoais<\/a>, e sim expor os problemas sociais decorrentes da tecnologia. Crawford estuda como\u00a0<a href=\"https:\/\/brasil.elpais.com\/brasil\/2018\/03\/30\/tecnologia\/1522424604_741609.html\">os algoritmos<\/a>\u00a0marginalizam as minorias. Al\u00e9m de seu trabalho como pesquisadora na Microsoft, em 2017 fundou com outros colegas da Universidade de Nova York o AI Now Research Institute, uma entidade independente que pretende ajudar os Governos a corrigirem os vieses de desigualdade dos seus algoritmos.<\/p>\n<section id=\"sumario_1|apoyos\" class=\"sumario_apoyos derecha\">Seu objetivo \u00e9 acabar com as chamadas\u00a0<em>black boxes<\/em>(caixas pretas), sistemas automatizados e totalmente opacos que os \u00f3rg\u00e3os p\u00fablicos usam para decidir quest\u00f5es fundamentais para a vida das pessoas, como quem recebe assist\u00eancia domiciliar. \u201cNingu\u00e9m sabe como funcionam nem os crit\u00e9rios usados para treinar essas m\u00e1quinas\u201d, denuncia a especialista, que em 2016 foi encarregada pelo\u00a0<a href=\"https:\/\/brasil.elpais.com\/tag\/barack_obama\">Governo Obama<\/a>\u00a0de organizar jornadas de discuss\u00e3o sobre as implica\u00e7\u00f5es sociais da intelig\u00eancia artificial.<\/p>\n<p>Crawford participou na semana passada da Mesa-Redonda sobre\u00a0<a href=\"https:\/\/brasil.elpais.com\/tag\/inteligencia_artificial\">Intelig\u00eancia Artificial<\/a>\u00a0e seu Impacto na Sociedade, organizado pelo Minist\u00e9rio de Energia e Agenda Digital da Espanha, em Madri, onde apresentou as conclus\u00f5es de seu relat\u00f3rio\u00a0<em>Algorithmic Impact Assesment<\/em>, um guia para detectar as injusti\u00e7as e aperfei\u00e7oar os algoritmos dos poderes p\u00fablicos.<\/p>\n<p><strong>Pergunta.<\/strong>\u00a0<a href=\"https:\/\/brasil.elpais.com\/brasil\/2017\/12\/05\/tecnologia\/1512475978_439857.html\">O mundo digital est\u00e1 reproduzindo as desigualdades<\/a>\u00a0do mundo real. De que fontes s\u00e3o extra\u00eddos os dados para o treinamento dos algoritmos?<\/p>\n<p><strong>Resposta.<\/strong>\u00a0\u00c9 preciso entender como funcionam os sistemas de intelig\u00eancia artificial. Para ensin\u00e1-los a distinguir um cachorro de um gato, lhes damos milh\u00f5es de imagens de cada um desses animais. S\u00e3o treinados para que aprendam a identificar. O problema \u00e9 que esses mesmos sistemas, esse software, est\u00e1 sendo usado pela pol\u00edcia nos Estados Unidos para predizer crimes. Treinam o algoritmo com fotos de pessoas processadas, com dados dos bairros onde s\u00e3o registrados mais delitos ou mais pris\u00f5es. Esses padr\u00f5es t\u00eam um vi\u00e9s, reproduzem estere\u00f3tipos, e o sistema de intelig\u00eancia artificial os toma como verdade \u00fanica. Estamos injetando neles as nossas limita\u00e7\u00f5es, nossa forma de marginalizar.<\/p>\n<p><strong>P.<\/strong>\u00a0Esses dados s\u00e3o colhidos da Internet de forma aleat\u00f3ria?<\/p>\n<p><strong>R.<\/strong>\u00a0S\u00e3o usadas base de dados. Uma das mais populares e mais usadas pelas empresas tecnol\u00f3gicas \u00e9 o Image Net, que cont\u00e9m 13.000 imagens. Em 78% delas aparecem homens, e em 84%, brancos. Essas s\u00e3o as refer\u00eancias para qualquer sistema treinado com esse kit. A forma como etiquetamos as imagens est\u00e1 muito relacionada \u00e0 nossa cultura e \u00e0 nossa constru\u00e7\u00e3o social. O Image Net foi criado reunindo fotos do Yahoo News entre 2002 e 2004. O rosto que mais aparece \u00e9 o de George W. Bush, que era o presidente dos Estados Unidos naquele momento. Ainda hoje \u00e9 uma das bases de dados mais utilizadas. Os sistemas de intelig\u00eancia artificial parecem neutros e objetivos, mas n\u00e3o s\u00e3o. Contam uma vers\u00e3o muito particular da hist\u00f3ria para a gente.<\/p>\n<p><strong>P.<\/strong>\u00a0Que empresas est\u00e3o interessadas em destinar recursos para analisar esses vieses?<\/p>\n<p><strong>R.<\/strong>\u00a0Temos feito isso na Microsoft. Em nosso estudo\u00a0<em>Man is to Computer Programmer<\/em>\u00a0<em>as<\/em>\u00a0<em>Woman is to Homemaker?<\/em>\u00a0(\u201co homem est\u00e1 para o programador de computador como a mulher para a dona de casa?\u201d) detectamos que os homens s\u00e3o habitualmente associados a profiss\u00f5es como pol\u00edticos ou programadores, e as mulheres com modelos, donas de casa, m\u00e3es&#8230; Analisando centenas de textos extraem-se esses padr\u00f5es, esses\u00a0<a href=\"https:\/\/brasil.elpais.com\/brasil\/2018\/04\/12\/tecnologia\/1523546166_758362.html\">estere\u00f3tipos sociais que os algoritmos depois replicam<\/a>. Por isso, se voc\u00ea busca no Google imagens para a palavra\u00a0<em>m\u00e9dico<\/em>, aparecer\u00e3o fotos de homens com jalecos brancos. Se colocar\u00a0<em>enfermagem<\/em>, s\u00f3 ver\u00e1 mulheres em hospitais. Quando as pessoas veem isso, automaticamente as formas mais b\u00e1sicas de distor\u00e7\u00e3o s\u00e3o refor\u00e7adas. \u00c9 preciso come\u00e7ar a questionar como esses sistemas foram constru\u00eddos.<\/p>\n<section id=\"sumario_2|html\" class=\"sumario_html izquierda\">\n<div class=\"sumario__interior\">\n<div class=\"sumario-texto\">\n<p><strong>P.<\/strong>\u00a0Na Europa ainda n\u00e3o \u00e9 t\u00e3o habitual que os Governos empreguem a intelig\u00eancia artificial para tomar decis\u00f5es. Que impacto isso est\u00e1 tendo nos Estados Unidos?<\/p>\n<p><strong>R.<\/strong>\u00a0A imprensa noticiou em mar\u00e7o como a Administra\u00e7\u00e3o est\u00e1 usando um algoritmo para decidir em quais casos uma pessoa deve receber assist\u00eancia domiciliar. De repente foram cortadas muitas dessas ajudas, e idosos que vinham recebendo cuidados em casa durante anos ficaram sem eles. O que tinha mudado? O algoritmo n\u00e3o levava o contexto em conta e tomava m\u00e1s decis\u00f5es. Ningu\u00e9m tinha avaliado o sistema para ver quanta gente ficou de fora. Foi um esc\u00e2ndalo nos Estados Unidos. \u00c9 um exemplo de um sistema aplicado sem a pesquisa suficiente. As pessoas com menos recursos econ\u00f4micos e menos n\u00edvel educacional s\u00e3o as que est\u00e3o sofrendo primeiro.<\/p>\n<p><strong>P.<\/strong>\u00a0Os Governos deveriam tornar p\u00fablicos esses algoritmos?<\/p>\n<p><strong>R.<\/strong>\u00a0Em um dos relat\u00f3rios que publicamos no ano passado no AI Now Research Institute, lan\u00e7amos uma recomenda\u00e7\u00e3o crucial: que os Governos deixem de usar sistemas algor\u00edtmicos fechados. Teriam que permitir a especialistas independentes auditar essas f\u00f3rmulas para detectar onde est\u00e3o as fraquezas, os vieses. Essa parte \u00e9 muito importante para assegurar a igualdade de oportunidades. Percebemos que at\u00e9 esse momento ningu\u00e9m tinha publicado nenhuma pesquisa sobre esse tema, n\u00e3o havia nenhum guia. Montamos uma equipe de especialistas em direito, engenharia, ci\u00eancias da computa\u00e7\u00e3o e sociologia e elaboramos um mecanismo para ajudar os Governos a desenvolverem um sistema transparente que permita aos cidad\u00e3os conhecer os detalhes, se seus dados foram processados de forma correta. Se n\u00e3o, nunca saber\u00e3o como foi tomada uma decis\u00e3o que afeta diretamente a sua vida, o seu dia a dia.<\/p>\n<p><strong>P.<\/strong>\u00a0Voc\u00eas j\u00e1 provaram seu m\u00e9todo contra os vieses com alguma administra\u00e7\u00e3o?<\/p>\n<p><strong>R.<\/strong>\u00a0Estamos testando com a prefeitura de Nova York, \u00e9 a primeira cidade a implementar isso nos Estados Unidos. Estamos medindo como os algoritmos afetam os cidad\u00e3os. Tamb\u00e9m apresentamos o projeto na Comiss\u00e3o Europeia e na Espanha, onde em um m\u00eas sair\u00e1 o primeiro relat\u00f3rio sobre as consequ\u00eancias da IA, encomendado pelo Minist\u00e9rio a um comit\u00ea de especialistas. A Europa chegou tarde ao jogo, e por isso tem que aprender com os erros dos Estados Unidos e da China, pa\u00edses onde a aplica\u00e7\u00e3o da IA na tomada de decis\u00f5es p\u00fablica est\u00e1 mais avan\u00e7ada.<\/p>\n<p><strong>P.<\/strong>\u00a0E as empresas como o Facebook, deveriam ser obrigadas a torn\u00e1-los p\u00fablicos?<\/p>\n<p><strong>R.<\/strong>\u00a0Olhar os algoritmos do Facebook ou do Google n\u00e3o nos ajudaria. S\u00e3o sistemas gigantescos e complexos, com centenas de milhares de algoritmos operando ao mesmo tempo, e est\u00e3o protegidas pelo segredo industrial. Os Governos n\u00e3o v\u00e3o usar esses algoritmos, v\u00e3o criar sistemas p\u00fablicos, e por isso devem ser abertos e transparentes. Talvez n\u00e3o para o p\u00fablico em geral, mas para comiss\u00f5es de especialistas independentes.<\/p>\n<section id=\"sumario_3|html\" class=\"sumario_html derecha\">\n<div class=\"sumario__interior\">\n<div id=\"cuerpo_noticia\" class=\"articulo-cuerpo\">\n<p><strong>P.<\/strong>\u00a0A intelig\u00eancia artificial est\u00e1 cada vez mais presente nos processos de sele\u00e7\u00e3o das empresas. A que tipo de perfis essa tecnologia prejudica?<\/p>\n<p><strong>R.<\/strong>\u00a0Nos Estados Unidos h\u00e1 uma nova empresa, a Hirevue, que recruta novos perfis para companhias como Goldman Sachs e Unilever usando intelig\u00eancia artificial. Durante a entrevista, voc\u00ea \u00e9 gravado e tem 250.000 pontos do seu rosto monitorados, para que depois analisem suas express\u00f5es. Com esses dados determinam se voc\u00ea ser\u00e1 um bom l\u00edder ou se ser\u00e1 ou n\u00e3o honesto. Tamb\u00e9m estudam o tom de sua voz e definem padr\u00f5es de comportamento. N\u00e3o podemos assumir que sabemos como \u00e9 algu\u00e9m por suas express\u00f5es, n\u00e3o existe uma base cient\u00edfica. No s\u00e9culo XIX popularizou-se a frenologia, que se baseava em decifrar aspectos da personalidade a partir de uma an\u00e1lise do rosto. Outro ponto perigoso \u00e9 que as empresas procuram pessoas que se pare\u00e7am com seus atuais funcion\u00e1rios, e o impacto disso na diversidade \u00e9 tremendo. Est\u00e3o criando monoculturas.<\/p>\n<p><strong>P.<\/strong>\u00a0Acha que chegou a hora de desmitificar algumas cren\u00e7as sobre a intelig\u00eancia artificial, como que\u00a0<a href=\"https:\/\/brasil.elpais.com\/brasil\/2018\/03\/16\/tecnologia\/1521204836_317670.html\">as m\u00e1quinas poder\u00e3o ter consci\u00eancia<\/a>? Quanto mal alguns gurus est\u00e3o causando?<\/p>\n<p><strong>R.<\/strong>\u00a0\u00c9 uma terr\u00edvel distra\u00e7\u00e3o dos verdadeiros problemas que a IA gera atualmente. Habitualmente, s\u00e3o os homens mais ricos e poderosos do Vale do Sil\u00edcio os que mais temem a Singularidade, a hipot\u00e9tica rebeli\u00e3o das m\u00e1quinas, porque n\u00e3o t\u00eam outra coisa com que se preocuparem, da qual sentirem medo. Para o resto de n\u00f3s, os temores s\u00e3o como vou conseguir um emprego, como vou chegar no final de m\u00eas e pagar meu aluguel, ou como pagar meu plano de sa\u00fade. Pensar que as m\u00e1quinas v\u00e3o ter sentimentos \u00e9 um mal-entendido, \u00e9 n\u00e3o ter ideia de como funciona a consci\u00eancia humana, que \u00e9 imposs\u00edvel que uma m\u00e1quina replique. Temos corpo, conex\u00f5es muito complexas, que n\u00e3o s\u00e3o s\u00f3 impulsos cerebrais. Somos corpos em um espa\u00e7o, vivendo em comunidade e em uma cultura. As pessoas veem a palavra intelig\u00eancia artificial e acham que estamos criando intelig\u00eancia humana, quando o que estamos fazendo \u00e9 desenhar padr\u00f5es de reconhecimento e automatiza\u00e7\u00e3o. Se cham\u00e1ssemos de automatiza\u00e7\u00e3o artificial, o debate mudaria totalmente.<\/p>\n<\/div>\n<section id=\"articulo-tags\" class=\"articulo-tags\"><\/section>\n<\/div>\n<\/section>\n<\/div>\n<\/div>\n<\/section>\n<div class=\"sumario__interior\"><\/div>\n<\/section>\n<\/div>\n<\/aside>\n","protected":false},"excerpt":{"rendered":"<p>Pesquisadora da Microsoft luta contra padr\u00f5es usados pela intelig\u00eancia artificial, cujo vi\u00e9s reproduz estere\u00f3tipos<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","enabled":false},"version":2}},"categories":[1],"tags":[],"class_list":["post-18493","post","type-post","status-publish","format-standard","hentry","category-notas"],"jetpack_publicize_connections":[],"jetpack_sharing_enabled":true,"jetpack_featured_media_url":"","jetpack_shortlink":"https:\/\/wp.me\/p7wKYW-4Oh","jetpack-related-posts":[],"_links":{"self":[{"href":"http:\/\/blogdalucianaoliveira.com.br\/blog\/wp-json\/wp\/v2\/posts\/18493","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/blogdalucianaoliveira.com.br\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/blogdalucianaoliveira.com.br\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/blogdalucianaoliveira.com.br\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/blogdalucianaoliveira.com.br\/blog\/wp-json\/wp\/v2\/comments?post=18493"}],"version-history":[{"count":1,"href":"http:\/\/blogdalucianaoliveira.com.br\/blog\/wp-json\/wp\/v2\/posts\/18493\/revisions"}],"predecessor-version":[{"id":18495,"href":"http:\/\/blogdalucianaoliveira.com.br\/blog\/wp-json\/wp\/v2\/posts\/18493\/revisions\/18495"}],"wp:attachment":[{"href":"http:\/\/blogdalucianaoliveira.com.br\/blog\/wp-json\/wp\/v2\/media?parent=18493"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/blogdalucianaoliveira.com.br\/blog\/wp-json\/wp\/v2\/categories?post=18493"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/blogdalucianaoliveira.com.br\/blog\/wp-json\/wp\/v2\/tags?post=18493"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}