The kill decision shouldn't belong to a robot
Daniel Suarez

Letras em inglês

Letras em português

Veloc.:

Letra e Tradução
Clique para ir ao ponto exato

00:12I write fiction sci-fi thrillers,
Escrevo livros de suspense e ficção científica,

00:15so if I say "killer robots,"
portanto, se eu disser "robôs assassinos",

00:18you'd probably think something like this.
você provavelmente pensa em algo assim.

00:20But I'm actually not here to talk about fiction.
Mas, na verdade, não estou aqui para falar de ficção.

00:22I'm here to talk about very real killer robots,
Estou aqui para falar sobre robôs assassinos muito reais,

00:25autonomous combat drones.
drones de combate autônomos.

00:29Now, I'm not referring to Predator and Reaper drones,
Não me refiro aos drones Predator e Reaper,

00:32which have a human making targeting decisions.
que têm um humano tomando decisões sobre o alvo.

00:35I'm talking about fully autonomous robotic weapons
Estou falando de armas robóticas completamente autônomas

00:39that make lethal decisions about human beings
que tomam decisões letais sobre seres humanos

00:41all on their own.
por si mesmas.

00:44There's actually a technical term for this: lethal autonomy.
Há na verdade um termo técnico para isso: autonomia letal.

00:48Now, lethally autonomous killer robots
Bem, robôs assassinos com autonomia letal

00:50would take many forms -- flying, driving,
tomariam muitas formas -- voar, dirigir

00:54or just lying in wait.
ou apenas ficar à espreita.

00:56And actually, they're very quickly becoming a reality.
E, na verdade, eles estão se tornando realidade muito rapidamente.

00:59These are two automatic sniper stations
Estas são duas estações automáticas de tiro

01:02currently deployed in the DMZ between North and South Korea.
atualmente implantadas na zona desmilitarizada entre a Coreia do Norte e a do Sul.

01:06Both of these machines are capable of automatically
Essas duas máquinas são capazes de automaticamente

01:08identifying a human target and firing on it,
identificar um alvo humano e atirar nele,

01:12the one on the left at a distance of over a kilometer.
aquela, à esquerda, a uma distância de mais de um quilômetro.

01:16Now, in both cases, there's still a human in the loop
Agora, em ambos os casos, ainda há um humano no circuito

01:20to make that lethal firing decision,
para tomar a decisão letal de atirar,

01:22but it's not a technological requirement. It's a choice.
mas isso não é um requisito tecnológico. É uma escolha.

01:27And it's that choice that I want to focus on,
E é nessa escolha em que quero focar,

01:31because as we migrate lethal decision-making
porque, à medida que transferimos a decisão letal

01:33from humans to software,
dos humanos para um programa de computador,

01:36we risk not only taking the humanity out of war,
colocamos em risco não só tirar a humanidade da guerra,

01:40but also changing our social landscape entirely,
mas também alterar nossa paisagem social inteiramente,

01:43far from the battlefield.
longe do campo de batalha.

01:45That's because the way humans resolve conflict
Isso ocorre porque a maneira como os humanos resolvem conflitos

01:50shapes our social landscape.
dá forma à nossa paisagem social.

01:52And this has always been the case, throughout history.
E o caso foi sempre esse, através da história.

01:54For example, these were state-of-the-art weapons systems
Por exemplo, estes eram sistemas de armamento de primeira linha

01:57in 1400 A.D.
em 1400 d.C.

01:59Now they were both very expensive to build and maintain,
Agora, eles eram muito caros para construir e manter,

02:02but with these you could dominate the populace,
mas com eles você poderia dominar a população,

02:05and the distribution of political power in feudal society reflected that.
e a distribuição do poder político na sociedade feudal refletiu isso.

02:09Power was focused at the very top.
O poder estava focado bem no topo.

02:12And what changed? Technological innovation.
E o que mudou? Inovação tecnológica.

02:16Gunpowder, cannon.
Pólvora, canhões.

02:17And pretty soon, armor and castles were obsolete,
Logo armaduras e castelos estavam obsoletos,

02:21and it mattered less who you brought to the battlefield
e importava menos quem você trazia para o campo de batalha

02:24versus how many people you brought to the battlefield.
do que quantas pessoas você trazia para o campo de batalha.

02:28And as armies grew in size, the nation-state arose
E, à medida que exércitos cresceram em tamanho, surgiu a nação-estado

02:31as a political and logistical requirement of defense.
como um requisito político e logístico de defesa .

02:35And as leaders had to rely on more of their populace,
E, à medida que os líderes tiveram que confiar em uma parcela maior da população,

02:37they began to share power.
eles começaram a compartilhar o poder.

02:39Representative government began to form.
O governo representativo começou a se formar.

02:42So again, the tools we use to resolve conflict
Outra vez, as ferramentas que usamos para resolver conflitos

02:45shape our social landscape.
dão forma à nossa paisagem social.

02:48Autonomous robotic weapons are such a tool,
Armas robóticas autônomas são ferramentas,

02:52except that, by requiring very few people to go to war,
apesar de que, ao exigirem poucas pessoas numa guerra,

02:58they risk re-centralizing power into very few hands,
colocam em risco 'recentralizar' o poder em muito poucas mãos,

03:02possibly reversing a five-century trend toward democracy.
possivelmente revertendo uma tendência de cinco séculos em direção à democracia.

03:09Now, I think, knowing this,
Agora, penso que, conhecendo isto,

03:11we can take decisive steps to preserve our democratic institutions,
podemos dar passos decisivos para preservar nossas instituições democráticas,

03:15to do what humans do best, which is adapt.
fazendo o que os humanos fazem melhor, que é adaptar-se.

03:19But time is a factor.
Mas o tempo é um fator.

03:21Seventy nations are developing remotely-piloted
Setenta nações estão desenvolvendo, por conta própria,

03:24combat drones of their own,
drones de combate pilotados remotamente,

03:26and as you'll see, remotely-piloted combat drones
e, como vocês verão, drones de combate pilotados remotamente

03:29are the precursors to autonomous robotic weapons.
são os precursores das armas robóticas autônomas.

03:33That's because once you've deployed remotely-piloted drones,
Isso acontece porque, uma vez que você tenha instalado drones pilotados remotamente,

03:36there are three powerful factors pushing decision-making
há três fatores poderosos agindo no sentido de que a tomada de decisão

03:39away from humans and on to the weapon platform itself.
passe dos humanos para a própria plataforma de armas.

03:44The first of these is the deluge of video that drones produce.
O primeiro deles é a inundação de vídeos que os drones produzem.

03:49For example, in 2004, the U.S. drone fleet produced
Por exemplo, em 2004, a frota de drones dos E.U.A. produziu

03:53a grand total of 71 hours of video surveillance for analysis.
um total de 71 horas de vídeos de vigilância para análise.

03:58By 2011, this had gone up to 300,000 hours,
Em 2011, isso tinha aumentado para 300.000 horas,

04:03outstripping human ability to review it all,
superando a capacidade humana de revisá-los todos,

04:06but even that number is about to go up drastically.
mas mesmo esse número deve aumentar drasticamente.

04:10The Pentagon's Gorgon Stare and Argus programs
Os programas Gorgon Stare e Argus do Pentagono,

04:12will put up to 65 independently operated camera eyes
colocarão 65 câmeras operadas independentemente

04:15on each drone platform,
em cada plataforma de drones,

04:17and this would vastly outstrip human ability to review it.
e isto superará e muito a capacidade humana de revisá-las.

04:21And that means visual intelligence software will need
Isso significa que software visual inteligente precisará

04:23to scan it for items of interest.
verificá-las para itens de interesse.

04:27And that means very soon
Isso significa que muito em breve

04:28drones will tell humans what to look at,
os drones dirão aos humanos o que olhar,

04:31not the other way around.
não o contrário.

04:33But there's a second powerful incentive pushing
Mas há um segundo incentivo poderoso agindo para que

04:36decision-making away from humans and onto machines,
a tomada de decisão passe dos humanos para as máquinas,

04:39and that's electromagnetic jamming,
que é o congestionamento eletromagnético

04:42severing the connection between the drone
interrompendo a conexão entre o drone

04:44and its operator.
e seu operador.

04:47Now we saw an example of this in 2011
Vimos um exemplo disso, em 2011,

04:50when an American RQ-170 Sentinel drone
quando o drone Sentinel RQ-170

04:53got a bit confused over Iran due to a GPS spoofing attack,
ficou ligeiramente confuso no Irã, devido a um ataque de 'spoofing' ao GPS,

04:57but any remotely-piloted drone is susceptible to this type of attack,
mas qualquer drone pilotado remotamente é suscetível a esse tipo de ataque,

05:02and that means drones
e isso significa que os drones

05:04will have to shoulder more decision-making.
terão que ter maior poder de decisão.

05:08They'll know their mission objective,
Eles conhecerão o objetivo da missão,

05:11and they'll react to new circumstances without human guidance.
e reagirão a novas circunstâncias sem a supervisão humana.

05:16They'll ignore external radio signals
Eles ignorarão sinais externos de rádio

05:18and send very few of their own.
e enviarão muito poucos deles.

05:21Which brings us to, really, the third
O que nos traz, de fato, ao terceiro

05:23and most powerful incentive pushing decision-making
e mais poderoso incentivo para transferir a tomada de decisão

05:27away from humans and onto weapons:
dos humanos para as máquinas:

05:30plausible deniability.
negação plausível.

05:33Now we live in a global economy.
Atualmente vivemos em uma economia global.

05:36High-tech manufacturing is occurring on most continents.
A manufatura de alta tecnologia está ocorrendo na maioria dos continentes.

05:40Cyber espionage is spiriting away advanced designs
A espionagem cibernética está espalhando projetos avançados

05:43to parts unknown,
para partes desconhecidas,

05:45and in that environment, it is very likely
e, neste ambiente, é muito provável

05:47that a successful drone design will be knocked off in contract factories,
que um bem sucedido projeto de drone, produzido em fábricas terceirizadas,

05:52proliferate in the gray market.
prolifere no mercado paralelo.

05:54And in that situation, sifting through the wreckage
E, nessa situação, vasculhando os escombros

05:57of a suicide drone attack, it will be very difficult to say
de um ataque sucida de drones, será muito difícil dizer

06:00who sent that weapon.
quem enviou aquela arma.

06:04This raises the very real possibility
Isto levanta a possibilidade muito realista

06:07of anonymous war.
de guerra anônima.

06:10This could tilt the geopolitical balance on its head,
Isso poderia inclinar o equilíbrio geopolítico no topo,

06:12make it very difficult for a nation to turn its firepower
tornar muito difícil para uma nação mirar seu poder de fogo

06:16against an attacker, and that could shift the balance
contra um atacante, e isso poderia alterar o equilíbrio,

06:19in the 21st century away from defense and toward offense.
no século XXI, da defesa para a ofensa.

06:22It could make military action a viable option
Poderia tornar a ação militar uma opção viável

06:26not just for small nations,
não apenas para nações pequenas,

06:28but criminal organizations, private enterprise,
mas também para organizações criminosas, empresas privadas,

06:30even powerful individuals.
até mesmo para indivíduos poderosos.

06:33It could create a landscape of rival warlords
Poderia criar uma paisagem de senhores da guerra rivais

06:36undermining rule of law and civil society.
enfraquecendo a prevalência da lei e a sociedade civil.

06:40Now if responsibility and transparency
Agora, se responsabilidade e transparência

06:43are two of the cornerstones of representative government,
são as duas pedras fundamentais do governo representativo,

06:46autonomous robotic weapons could undermine both.
armas robóticas autônomas poderiam enfraquecer ambas.

06:50Now you might be thinking that
Bem, vocês podem estar pensando que

06:52citizens of high-tech nations
cidadãos de nações com alta tecnologia

06:54would have the advantage in any robotic war,
teriam uma vantagem em qualquer guerra robótica,

06:57that citizens of those nations would be less vulnerable,
que cidadãos dessas nações seriam menos vulneráveis,

07:00particularly against developing nations.
particularmente em relação a nações em desenvolvimento.

07:05But I think the truth is the exact opposite.
Mas, penso que a verdade é exatamente o oposto.

07:08I think citizens of high-tech societies
Penso que cidadãos de sociedades de alta tecnologia

07:10are more vulnerable to robotic weapons,
são mais vulneráveis a armas robóticas,

07:14and the reason can be summed up in one word: data.
e a razão pode ser resumida em uma palavra: informação.

07:19Data powers high-tech societies.
A informação dá poder a sociedades de alta tecnologia.

07:22Cell phone geolocation, telecom metadata,
Geolocalização por celular, metadados de telecomunicação,

07:25social media, email, text, financial transaction data,
mídia social, email, mensagem de texto, dados de transações financeiras,

07:29transportation data, it's a wealth of real-time data
dados de transportes, é uma riqueza de dados em tempo real

07:32on the movements and social interactions of people.
dos movimentos e interações sociais das pessoas.

07:36In short, we are more visible to machines
Em resumo, somos mais visíveis para as máquinas

07:39than any people in history,
que qualquer outro povo na história,

07:42and this perfectly suits the targeting needs of autonomous weapons.
e isso se encaixa perfeitamente nas necessidades-alvo de armas autônomas.

07:47What you're looking at here
O que estão vendo aqui

07:49is a link analysis map of a social group.
é um mapa com a análise das ligações de um grupo social.

07:52Lines indicate social connectedness between individuals.
As linhas indicam a conectividade social entre indivíduos.

07:56And these types of maps can be automatically generated
E esses tipos de mapas podem ser gerados automaticamente

07:59based on the data trail modern people leave behind.
baseados no rastro de dados que as pessoas modernas deixam para trás.

08:03Now it's typically used to market goods and services
Agora, isso é tipicamente usado para propaganda de bens e serviços

08:06to targeted demographics, but it's a dual-use technology,
para populações alvo, mas é uma tecnologia de uso duplo

08:10because targeting is used in another context.
porque o alvo é usado em outro contexto.

08:14Notice that certain individuals are highlighted.
Observe que certos indivíduos estão destacados.

08:16These are the hubs of social networks.
Estes são os centros de redes sociais.

08:20These are organizers, opinion-makers, leaders,
Eles são organizadores, formadores de opinião, líderes,

08:23and these people also can be automatically identified
e essas pessoas também podem ser automaticamente identificadas

08:26from their communication patterns.
pelos seus padrões de comunicação.

08:28Now, if you're a marketer, you might then target them
Agora, se você é um marqueteiro, você pode atingi-las

08:30with product samples, try to spread your brand
com amostras de produtos, tentar espalhar sua marca

08:33through their social group.
através do grupo social deles.

08:36But if you're a repressive government
Mas, se você é um governo repressor

08:38searching for political enemies, you might instead remove them,
procurando inimigos políticos, você pode ao invés removê-los,

08:42eliminate them, disrupt their social group,
eliminá-los, destruir o grupo social deles,

08:45and those who remain behind lose social cohesion
e aqueles que restarem perdem a coesão social

08:48and organization.
e a organização.

08:51Now in a world of cheap, proliferating robotic weapons,
Agora, em um mundo onde proliferam armas robóticas baratas,

08:54borders would offer very little protection
as fronteiras ofereceriam muito pouca proteção

08:57to critics of distant governments
para críticos de governos distantes

08:59or trans-national criminal organizations.
ou organizações criminosas transnacionais.

09:03Popular movements agitating for change
Movimentos populares se agitando por mudança

09:06could be detected early and their leaders eliminated
poderiam ser detectados logo, e seus líderes eliminados

09:10before their ideas achieve critical mass.
antes que suas ideias atinjam massa crítica.

09:13And ideas achieving critical mass
E ideias atingindo massa crítica

09:15is what political activism in popular government is all about.
tem tudo a ver com ativismo político em governos populares.

09:19Anonymous lethal weapons could make lethal action
Armas letais anônimas poderiam tornar a ação letal

09:23an easy choice for all sorts of competing interests.
uma escolha fácil para todos os tipos de interesses concorrentes.

09:27And this would put a chill on free speech
E isso congelaria o discurso livre

09:31and popular political action, the very heart of democracy.
e a ação política popular, o próprio coração da democracia.

09:36And this is why we need an international treaty
E é por isto que precisamos de um tratado internacional

09:39on robotic weapons, and in particular a global ban
sobre armas robóticas, e, em particular, o banimento global

09:42on the development and deployment of killer robots.
do desenvolvimento e implantação de robôs assassinos.

09:46Now we already have international treaties
Agora, nós já temos tratados internacionais

09:50on nuclear and biological weapons, and, while imperfect,
sobre armas nucleares e biológicas, e, ainda que imperfeitos,

09:53these have largely worked.
eles têm funcionado amplamente.

09:55But robotic weapons might be every bit as dangerous,
Mas as armas robóticas podem ser um pouco mais perigosas,

09:59because they will almost certainly be used,
porque elas serão usadas quase que com certeza,

10:02and they would also be corrosive to our democratic institutions.
e elas também seriam corrosivas para nossas instituições democráticas.

10:07Now in November 2012 the U.S. Department of Defense
Agora, em novembro de 2012, o Departamento de Defesa dos EUA

10:11issued a directive requiring
emitiu uma diretriz exigindo

10:13a human being be present in all lethal decisions.
que um ser humano esteja presente em todas as decisões letais.

10:18This temporarily effectively banned autonomous weapons in the U.S. military,
Temporariamente, isto de fato baniu armas autônomas nas forças militares dos EUA,

10:23but that directive needs to be made permanent.
mas essa diretriz precisa tornar-se permanente.

10:26And it could set the stage for global action.
E ela poderia preparar o palco para a ação global.

10:31Because we need an international legal framework
Porque precisamos de uma estrutura legal internacional

10:34for robotic weapons.
para armas robóticas.

10:37And we need it now, before there's a devastating attack
E precisamos disto agora, antes que haja um ataque devastador

10:40or a terrorist incident that causes nations of the world
ou um incidente terrorista que provoque uma corrida

10:43to rush to adopt these weapons
entre as nações do mundo para adotar essas armas,

10:45before thinking through the consequences.
antes de pensar nas consequências.

10:48Autonomous robotic weapons concentrate too much power
Armas robóticas autônomas concentram poder demais

10:51in too few hands, and they would imperil democracy itself.
em poucas mãos, e poderiam pôr em risco a própria democracia.

10:58Now, don't get me wrong, I think there are tons
Agora, não me entendam mal, penso que há toneladas

11:00of great uses for unarmed civilian drones:
de ótimos usos para drones civis desarmados:

11:03environmental monitoring, search and rescue, logistics.
monitoramento ambiental, busca e resgate, logística.

11:07If we have an international treaty on robotic weapons,
Se tivermos um tratado internacional sobre armas robóticas,

11:10how do we gain the benefits of autonomous drones
como obtemos os benefícios de drones e veículos autônomos

11:13and vehicles while still protecting ourselves
e ainda nos protegemos

11:16against illegal robotic weapons?
contra armas robóticas ilegais?

11:20I think the secret will be transparency.
Penso que o segredo será a transparência.

11:25No robot should have an expectation of privacy
Nenhum robô deveria ter expectativa de privacidade

11:28in a public place.
em local público.

11:31(Applause)
(Aplausos)

11:36Each robot and drone should have
Cada robô e drone deveriam ter

11:38a cryptographically signed I.D. burned in at the factory
uma assinatura de identificação criptografada e marcada na fábrica

11:41that can be used to track its movement through public spaces.
que pudesse ser usada para rastrear seus movimentos em espaços públicos.

11:44We have license plates on cars, tail numbers on aircraft.
Temos placas em carros, números em aeronaves.

11:47This is no different.
Isto não é diferente.

11:49And every citizen should be able to download an app
E cada cidadão deveria ser capaz de baixar um aplicativo

11:51that shows the population of drones and autonomous vehicles
que mostrasse a população de drones e veículos autônomos

11:54moving through public spaces around them,
transitando em espaços públicos ao redor delas,

11:57both right now and historically.
tanto naquele momento quanto o histórico dessa movimentação.

12:00And civic leaders should deploy sensors and civic drones
E líderes civis deveriam instalar sensores e drones civis

12:03to detect rogue drones,
para detectar drones intrusos,

12:05and instead of sending killer drones of their own up to shoot them down,
que, em vez de enviar drones assassinos próprios para abatê-los,

12:09they should notify humans to their presence.
deveriam notificar os humanos da presença deles.

12:12And in certain very high-security areas,
E, em certas áreas de segurança máxima,

12:14perhaps civic drones would snare them
talvez drones civis pudessem emboscá-los

12:16and drag them off to a bomb disposal facility.
e arrastá-los para instalações de descarte de bombas.

12:19But notice, this is more an immune system
Mas vejam, isto é mais um sistema imunológico

12:22than a weapons system.
que um sistema de armamento.

12:23It would allow us to avail ourselves of the use
Ele nos permitiria o benefício do uso

12:26of autonomous vehicles and drones
de veículos autônomos e drones

12:28while still preserving our open, civil society.
e ainda a preservação de nossa sociedade civil e aberta.

12:32We must ban the deployment and development
Devemos banir a instalação e o desenvolvimento

12:35of killer robots.
de robôs assassinos.

12:37Let's not succumb to the temptation to automate war.
Não vamos sucumbir à tentação de automatizar a guerra.

12:42Autocratic governments and criminal organizations
Governos autocráticos e organizações criminosas,

12:45undoubtedly will, but let's not join them.
sem dúvida, vão, mas não vamos nos juntar a eles.

12:48Autonomous robotic weapons
Armas robóticas autônomas

12:50would concentrate too much power
concentrariam poder demais

12:52in too few unseen hands,
em poucas mãos não vistas,

12:54and that would be corrosive to representative government.
e isso seria corrosivo para o governo representativo.

12:57Let's make sure, for democracies at least,
Vamos nos certificar, para democracias ao menos,

13:00killer robots remain fiction.
de que robôs assassinos continuem sendo ficção.

13:03Thank you.
Obrigado.

13:04(Applause)
(Aplausos)

13:09Thank you. (Applause)
Obrigado. (Aplausos)

As a novelist, Daniel Suarez spins dystopian tales of the future. But on the TEDGlobal stage, he talks us through a real-life scenario we all need to know more about: the rise of autonomous robotic weapons of war. Advanced drones, automated weapons and AI-powered intelligence-gathering tools, he suggests, could take the decision to make war out of the hands of humans.

Comentários

The kill decision shouldn't belong to a robot - Daniel Suarez