Technopedia Center
PMB University Brochure
Faculty of Engineering and Computer Science
S1 Informatics S1 Information Systems S1 Information Technology S1 Computer Engineering S1 Electrical Engineering S1 Civil Engineering

faculty of Economics and Business
S1 Management S1 Accountancy

Faculty of Letters and Educational Sciences
S1 English literature S1 English language education S1 Mathematics education S1 Sports Education
  • Registerasi
  • Brosur UTI
  • Kip Scholarship Information
  • Performance
  1. Weltenzyklopädie
  2. Course aux armements intelligents — Wikipédia
Course aux armements intelligents — Wikipédia 👆 Click Here! Read More..
Un article de Wikipédia, l'encyclopédie libre.
Page d’aide sur l’homonymie

Pour les articles homonymes, voir Course aux armements (homonymie).

Exemple de killer robot « Miloš » ; monté sur chenilles, et ici tracté par un véhicule militaire lors d'un exercice et défilé militaire de Sloboda en Serbie (2019, sur l'aéroport militaire « Colonel-pilote Milenko Pavlović »).
Concept (image de synthèse) pour un navire armé autonome Hunter-Killer (élément de narratif pour un concours international de robotique).

La course aux armes et systèmes d'armements pilotés par intelligence artificielle est le prolongement récent de la course aux armements. Elle vise cette fois à développer et déployer des armes plus ou moins autonomes, dont des systèmes d'armes létales autonomes (LAWS) qui « peuvent réagir plus rapidement, plus efficacement et de manière moins prévisible[1].

Depuis le milieu des années 2010, de nombreux analystes constatent ou dénoncent l'émergence d'une nouvelle course à l'IA militarisée et aux armements autonomes, entre superpuissances mondiales[2],[3].

Cette tendance est soutenue par une nouvelle guerre froide entretenue par des tensions géopolitiques et militaires croissantes et par l'industrie de l'armement ; parfois décrite comme s'inscrivant entre les États-Unis, la Russie et la Chine[4].

Sémantique

[modifier | modifier le code]

Divers systèmes d'armes létales autonomes peuvent déjà ou potentiellement utiliser l'intelligence artificielle pour identifier et tuer des cibles matérielles et/ou humaines sans intervention humaine ou avec une intervention réduite et à distance[5].

Les LAWS sont parfois aussi appelés « robots tueurs ».

Certains auteurs estiment que toute compétition pour une IA supérieure relève d'une « course aux armements » dans le contexte de guerres économiques, psychologiques, civiles, etc.[6]. Les enjeux et risques de l'IA militaire chevauchent ceux d'autres secteurs (des États aux entités politique ou mafieuses) recherchant du pouvoir en termes socio-économiques et/ou militaires[7].

Le cyberespace est devenu le « cinquième champ de bataille ». Là, des IA, parfois en compléments de cyberattaques ciblant des gouvernements, administrations, banques, industries, hôpitaux et autres infrastructures, sont utilisées par certains pays, comme arme offensive et/ou défensive, pour psychologiquement « persuader, changer, influencer » des partenaires, concurrents et adversaires, ou pour truquer des élections, etc. Ces opérations (Opérations psychologiques (Psyops), de guerre psychologique créent des « armes désinformationnelles » s'inscrivant parfois dans une « guerre hybride »[8]. Ces opérations, bien qu'en partie immatérielles, sont aussi susceptibles de conduire à une escalade de la violence numérique et de la polarisation politique des sociétés[9].

Histoire

[modifier | modifier le code]
Les robots armés, même non-autonomes inquiètent les citoyens, comme le montre cette campagne contre les « robots tueurs », à Londres, en avril 2013.
En 2022, sur les marches de l'hôtel de ville de San Francisco, des citoyens protestent contre un vote du conseil autorisant la police à utiliser de telles armes.
Jody Williams invitée sur TedX ; militante américaine, prix Nobel de la paix 1997 (avec 20 autres Nobels de la paix), plaide pour préventivement interdire les systèmes d'armes létales intelligents et autonomes.

La militarisation de l'IA a longtemps relevé de la science-fiction, mais ce n'est plus le cas : selon Siemens, les dépenses militaires mondiales en robotique s'élevaient à 5,1 milliards de dollars américains en 2010, et à 7,5 milliards en 2015[10],[11].

En 2013, Christof Heyns, rapporteur spécial des Nations unies sur les exécutions extrajudiciaires, sommaires ou arbitraires, déplore un début de course aux armements intelligents, autonomes et robotisée et appelle à un moratoire sur le développement de ces armes.

En 2014, des représentants de dizaines de pays se réunissent à Genève pour étudier la possibilité de limiter ou interdire de telles armes, via la Convention sur certaines armes classiques. Dans le New-York Times, John Markoff cite Steve Omohundro, expert en IA au laboratoire de recherche « Self-Aware Systems » (Systèmes auto-conscients) de Palo Alto qui alerte sur « une course aux armements autonomes déjà en cours »[1]. Markoff note que « bien qu’une précision extrême puisse sauver des vies civiles, les critiques craignent que les armes sans surveillance humaine ne rendent la guerre plus probable, aussi simple que d’appuyer sur un interrupteur. La Grande-Bretagne, Israël et la Norvège déploient déjà des missiles et des drones qui mènent des attaques contre des radars, des chars ou des navires ennemis sans contrôle humain direct. Après le lancement, les armes dites autonomes s’appuient sur l’intelligence artificielle et des capteurs pour sélectionner des cibles et lancer une attaque. Les missiles Brimstone de la Grande-Bretagne, par exemple, peuvent distinguer les chars, des voitures et des bus sans assistance humaine, et peuvent viser des cibles dans une région prédésignée, sans surveillance. Les Brimstones communiquent également entre eux, se partageant les cibles »[1].

Dans les années 2010, la Chine devient un acteur majeur de la recherche sur l'intelligence artificielle. En 2016, pour la première fois, elle publie plus d'articles sur l'IA que toute de l'Union européenne. Et si l'on se limite au nombre d'articles sur l'IA figurant dans les 5 % des articles les plus cités, elle dépasse les États-Unis en 2016 (tout en restant derrière l'Union européenne)[12]. 23 % des chercheurs présentés à la conférence 2017 de l'American Association for the Advancement of Artificial Intelligence (AAAI) étaient chinois[13]. Selon Eric Schmidt (ancien président d'Alphabet), la Chine sera leader en matière d'IA avant 2025[14].

Origine AAAI[13]
Pays en 2012 en 2017
USA 41% 34%
Chine 10% 23%
Royaume-Uni 5% 5%

Un groupe de scientifique a créé un Comité international pour le contrôle des armes robotiques qui préconise d'importantes restrictions à lusage de robots militaires. Une question qu'ils jugent cruciale est « S’agit-il de cibles désignées par l’homme ? Ou est-ce que ces systèmes décident automatiquement de ce qu’est une cible ? »[1].

Risques

[modifier | modifier le code]

Un premier risque est que dans la course à l'IA (qu'elle soit ou non remportée par un groupe), des Etats, des entreprises de l'armement, ou des équipes de développeurs soient tentés de prendre des raccourcis concernant la sécurité des systèmes, ou le bien commun, ou soient victimes de biais algorithmiques accru[15],[16]. Cette dangereuse prise de risque est encouragée par l'idée qu'être le premier à développer une technologie avancée d'IA est un avantage décisif ; une idée qui peut encourager d'autres équipes à avancer sans précautions suffisantes, et à déployer un système d'armes autonomes avant qu'il soit sécurisé et prêt. Certains soutiennent que l'utilisation de la terminologie « course » dans ce contexte peut exacerber cet effet de fuite en avant[17].

Un autre risque et danger est de relancer une nouvelle et exorbitante course aux armements au moment où les crises climatiques, énergétiques, sociales et de la biodiversité nécessitent des investissements urgents et massifs.

Un risque émergent et d'un genre nouveau est celui de créer une ou plusieurs IA à vocation militaire dont une personne, une entité (gouvernementale ou autre) perdrait le contrôle. Ce risque est aggravé dans le cas d'une course à l'intelligence artificielle générale (IAG), qui peut, de l'avis d'un nombre croissant d'experts, présenter un risque existentiel pour l'humanité[17].

Un autre risque est qu'un groupe ou une entité illégitime, malveillante, mafieuse, totalitaire, etc. gagne ou détourne cette course à l'IA militarisée, en rompant les équilibres géostratégiques. Un système d'armes intelligentes, voire autonomes, pourrait conférer un avantage technoscientifique sans commune mesure avec les systèmes de pouvoir, d'armement ou d'asservissement du passé, et extrêmement dangereux si détenu par un seul groupe ou de quelques groupes de ce type. Un rapport du gouvernement américain affirme que, par exemple, « les capacités basées sur l'IA pourraient être utilisées pour menacer des infrastructures critiques, amplifier les campagnes de désinformation et faire la guerre »[18], et que « la stabilité mondiale et la dissuasion nucléaire pourraient être compromises »[18].

La désinformation est aujourd'hui mondialisée. Elle ne peut être combattue aux seules échelles nationales ; mais le droit international peine à suivre l'évolution très rapide des capacités d'Intelligences artificielles militarisées.

Positions envers l'intelligence artificielle militarisée

[modifier | modifier le code]

Russie

[modifier | modifier le code]

Le général russe Viktor Bondarev, commandant en chef de l'armée de l'air russe, a déclaré que dès février 2017, la Russie travaillait sur des missiles guidés par l'IA qui pourraient décider de changer de cible en cours de vol[19]. La Commission militaro-industrielle de Russie a approuvé des plans visant à tirer 30 % de la puissance de combat de la Russie de plates-formes robotiques télécommandées et compatibles avec l'IA d'ici 2030[20]. Les rapports des médias russes parrainés par l'État sur les utilisations militaires potentielles de l'IA se sont multipliés à la mi-2017[21] et en mai 2017, le PDG du groupe russe Kronstadt, un sous-traitant de la défense, déclarait qu '«il existe déjà des systèmes d'exploitation d'IA complètement autonomes qui fournissent les moyens aux groupes de drones, lorsqu'ils remplissent des missions de manière autonome, partagent des tâches entre eux et interagissent», et qu'il est inévitable que des « essaims de drones » survolent un jour les zones de combat[22]. Cette même année, selon la BBC, la Russie a testé plusieurs systèmes de combat autonomes et semi-autonomes, dont un module de combat « réseau neuronal » de Kalachnikov, avec une mitrailleuse, une caméra et une IA qui, selon ses fabricants, peuvent prendre ses propres décisions de ciblage sans intervention humaine[23].

En septembre 2017, lors de la Journée nationale du savoir, devant plus d'un million d'élèves dans 16 000 écoles russes, le président russe Vladimir Poutine a déclaré : « L'intelligence artificielle est l'avenir, non seulement pour la Russie mais pour toute l'humanité… Celui qui deviendra le leader dans ce domaine deviendra le maître du monde ». Vladimir Poutine a aussi dit qu'il serait préférable d'empêcher un seul acteur d'obtenir un monopole, mais que si la Russie devenait le leader de l'IA, elle partagerait sa « technologie avec le reste du monde, comme nous le faisons actuellement avec la technologie atomique et nucléaire »[24],[25],[26].

Plusieurs entités russes sont consacrées au développement de l'IA militaire ; et en mars 2018, le gouvernement a publié un programme d'IA en 10 points, appelant à créer un consortium IA et Big Data, un fonds pour les algorithmes et programmes analytiques, un programme de formation et d'éducation en IA soutenu par l'État, un laboratoire dédié à l'IA et un Centre national pour l'intelligence artificielle, entre autres initiatives[27]. Puis une organisation de recherche sur la défense (une sorte d'équivalent de la DARPA, dédiée à l'autonomie et à la robotique, appelée Fondation pour les études avancées, a lancé une conférence annuelle sur la « robotisation des forces armées de la fédération de Russie »[28],[29].

L'armée russe étudie diverses applications de l'IA (véhicules semi-autonomes et autonomes notamment). Le 1er novembre 2017, Viktor Bondarev, militaire président du Comité de défense et de sécurité du Conseil de la fédération, a déclaré que « l'intelligence artificielle pourra remplacer un soldat sur le champ de bataille et un pilote dans le cockpit d'un avion », et a noté plus tard que "Le jour approche où les véhicules seront dotés d'une intelligence artificielle"[30] (déclaration faite au moment des tests réussis du Nerehta, un véhicule terrestre électrique de 1,7 t, bas, armé et sans occupants (AUGV) de l’armée russe. Destiné à soutenir l'infanterie, il peut être équipé de chenilles ou de roues, d’une mitrailleuse lourde de 12,7 mm, d’une mitrailleuse moyenne Kalachnikov de 7,62 mm ou d’un lance-grenades automatique AG-30M de 30 mm ou transporter jusqu'à 700 kg de charge utile ; il aurait « surpassé les véhicules de combat [avec équipage] existants ». C'est ayssu une plate-forme de R&D pour la militarisation de l'IA. Il pourrait prendre part à des combats, mais aussi faire du renseignement et/ou piloter de la logistique[31]. Un module russe de combat pour véhicules terrestres sans équipage, capable d'identifier de manière autonome des cibles – et, potentiellement, d'engager des cibles aurait déjà été conçu, et une suite d'armements et systèmes autonomes basés sur l'IA sont envisagés[32],[33],[29].

Des véhicules militaires aériens, navals et sous-marins sans équipage, ainsi que des capacités d'essaimage sont étudiés[28] de même que des IA formées à la télédétection et à la guerre électronique (sauts de fréquence adaptatifs, formes d'onde et contre-mesure)[34],[35] ou à la propagande, surveillance intérieures, dont pour des opérations de désinformation ou d'information dirigées contre les États-Unis et leurs alliés[36],[37],[29].

La Russie a participé à trois réunions d’experts sur les systèmes d'armes autonomes (LAWS) tenues en mai 2014, avril 2015 et avril 2016 dans le cadre de la Convention sur les armes inhumaines, la CCAC, également dite Convention sur certaines armes classiques (une convention internationale qui, sous l'égide de l'ONU, interdit ou limite l'emploi de certaines armes classiques pouvant être considérées comme produisant des effets traumatisants excessifs ou comme frappant sans discrimination). Â l'ONU à Genève, en 2017, la CCAC a mis à l'ordre du jour un débat sur une possible interdiction des systèmes d'armes létales autonomes (SALA), dans le cadre d'un « Examen de diverses dimensions des phénomènes émergents technologies dans le domaine des systèmes d'armes létales autonomes, dans le contexte des objectifs et objectifs de la Convention ». Seuls une vingtaine d'États y ont immédiatement plaidé pour une interdiction ou de fortes restrictions légales (la convention a pour cette raison été critiquée comme « peu ambitieuse » par le groupe de campagne Stop Killer Robots), mais près de 100 pays présents sont convenus que les discussions devaient se poursuivre lors des sessions suivantes. Le gouvernement russe a quant a lui produit une déclaration écrite[38] rejetant fermement toute interdiction des systèmes d'armes létaux autonomes, suggérant qu'une telle interdiction internationale pourrait être inappropriées et préjudiciables arguant qu'il n'y a pas de consensus sur la définition de ces armes ni sur la notion de concept de « contrôle humain significatif » (qui pourrait, selon les négociateurs russes, être un facteur d'acceptabilité de ces armes), et qu'« Il est difficilement acceptable que les travaux sur les armes autonomes restreignent la liberté de bénéficier des avantages des technologies autonomes qui représentent l’avenir de l’humanité (…) cela dit, la nécessité de répondre aux préoccupations humanitaires ne peut pas être utilisée comme seule et unique condition préalable suffisante pour imposer des régimes restrictifs et prohibitifs sur certaines armes. »[39],[40]. Pour Human Rights Watch, la Russie s’était, depuis des mois, « vigoureusement opposée » à la formation de groupes internationaux visant à restreindre le développement d’armes autonomes et intelligentes depuis des mois[39].

Chine

[modifier | modifier le code]

La Chine a une politique stratégique de fusion militaro-civile en matière d'IA pour la suprématie technologique mondiale[18],[41]. Selon un rapport de février 2019 rédigé par Gregory C. Allen du Center for a New American Security, les dirigeants chinois – y compris le leader suprême Xi Jinping – estiment qu'être à l'avant-garde de la technologie de l'IA est essentiel pour l'avenir du monde militaire et économique mondial. Concurrence pour le pouvoir[7]. Des liens étroits entre la Silicon Valley et la Chine, et la nature relativement ouverte de la communauté scientifique, ont facilité les progrès de l'IA en Chine (ainsi Baidu a remarquablement réussi un test de capacité de reconnaissance vocale en langue chinoise en 2015)[42]. Depuis 2017, la feuille de route de Pékin vise à créer une industrie de l'IA de 150 milliards de dollars d'ici 2030[12] ; et la Défense en profite : avant 2013, les achats chinois de défense chinois étaient limités à quelques conglomérats, mais depuis 2017, le pays s'approvisionne souvent en technologies émergentes sensibles (drones, IA…) auprès de start-ups privées[43].

En 2016, la Chine a publié un document de position pointant l'incapacité du droit international existant à faire face à l'éventualité d'armes entièrement autonomes, devenant ainsi le premier membre permanent du Conseil de sécurité de l'ONU à aborder la question[44]. En 2018, Xi a appelé à renforcer la coopération internationale dans la recherche fondamentale sur l'IA[45]. Des responsables chinois se sont inquiétés du fait que des armes telles que des drones intelligents pourraient conduire à une guerre accidentelle, surtout en l'absence de normes internationales[46]. En 2019, l'ancien secrétaire américain à la Défense, Mark Esper, s'en est pris à la Chine qui a vendu des drones capables de tuer sans surveillance humaine[47].

Un rapport d'octobre 2021 du Centre pour la sécurité et les technologies émergentes a révélé que « la plupart des fournisseurs d'équipements d'IA [de l'armée chinoise] ne sont pas des entreprises de défense publiques, mais des entreprises technologiques chinoises privées fondées après 2010 »[48] ; et les dépenses militaires chinoises en matière d'IA dépassaient 1,6 milliard de dollars /an[48]. Selon le Japan Times, en 2018 l'investissement privé chinois annuel dans l'IA s'élevait à moins de 7 milliards de dollars par an ; Les startups d'IA chinoise ont reçu près de la moitié du total des investissements mondiaux dans les startups d'IA en 2017 ; les Chinois ont déposé près de cinq fois plus de brevets sur l'IA que les Américains[49].

États-Unis

[modifier | modifier le code]
The Sea Hunter sails out to sea
Le Sea Hunter, navire de guerre américain autonome, 2016.

En 2014, l'ancien secrétaire à la Défense Chuck Hagel a proposé une « Troisième stratégie de décalage » selon laquelle les progrès rapides de l'intelligence artificielle définiront la prochaine génération de guerre[50]. Selon Govini (société spécialisée dans la science et d'analyse des données), le ministère américain de la Défense a en 2016 augmenté ses investissements dans l'intelligence artificielle, le big data et le cloud computing, en passant de 5,6 milliards de dollars en 2011 à 7,4 milliards de dollars en 2016[51]. Cependant, le budget civil du NSF pour l'IA n'a connu aucune augmentation en 2017[12]. Le Japan Times a rapporté en 2018 que l'investissement privé des États-Unis était d'environ 70 milliards de dollars par an[49]. Un « rapport intermédiaire » de novembre 2019 de la Commission de sécurité nationale des États-Unis sur l'intelligence artificielle a confirmé que l'IA est essentielle à la supériorité militaire technologique des États-Unis[18].

Les États-Unis disposent de nombreux programmes militaires d'IA pour le combat, comme le navire de guerre autonome Sea Hunter, conçu pour naviguer en mer de manière autonome durant de longues périodes, sans aucun équipage, y compris pour se guider à l'entrée et à la sortie d'un port[23].

Depuis 2017, une directive provisoire du ministère américain de la Défense exige qu'un opérateur humain soit tenu au courant dès qu'il est question de tuer des personnes par des systèmes d'armes autonomes[52]. Le 31 octobre 2019, le Defence Innovation Board du ministère de la Défense des États-Unis a publié le projet d'un rapport recommandant des principes pour l'utilisation éthique de l'intelligence artificielle par le ministère de la Défense, qui garantirait qu'un opérateur humain soit toujours en mesure de voir ce qui se passe dans la boite noire de l'IA et de comprendre le processus de la kill-chain. Mais la manière dont ce rapport sera mis en œuvre est une préoccupation majeure[53].

Le projet Maven est un projet du Pentagone impliquant l'utilisation de l'apprentissage automatique et d'une ingénierie adaptée pour distinguer les personnes et les objets dans les vidéos faites par des drones[54], afin de donner au commandement un meilleur contrôle du champ de bataille, en temps réel, et la possibilité de suivre, étiqueter et espionner des cibles sans intervention humaine. Initialement, ce projet était dirigé par Robert O. Work, préoccupé par l'utilisation militaire émergente de l'IA en Chine. Il a été rapporté que le Pentagone ne va pas jusqu'à produire des systèmes d'armes intelligents (IA) capables de tirer sur des cibles désignées automatiquement par le système[55]. Ce projet a été lancé par une note du secrétaire adjoint américain à la Défense du 26 avril 2017[56]. Aussi dit Algorithmic Warfare Cross Functional Team[57], il s'agit, selon le lieutenant-général de l'armée de l'air américaine Jack Shanahan en novembre 2017, d'un «« projet pilote, cet éclaireur, cette étincelle qui allume la flamme de l'intelligence artificielle dans le reste du département [de la Défense] »[58]. Son chef, le colonel Drew Cukor du Corps des Marines des États-Unis, a déclaré : « Les gens et les ordinateurs travailleront en symbiose pour augmenter la capacité des systèmes d'armes à détecter des objets »[59]. Le projet Maven a été remarqué par des alliés, comme l'Australien Ian Langford, pour sa capacité à identifier les adversaires en récoltant des données provenant de capteurs sur des drones et des satellites[60]. Lors du second Defence One Tech Summit en juillet 2017, Cukor a dit que l'investissement dans un « processus de flux de travail » était financé par le ministère [de la Défense] par l'intermédiaire de l'« Autorité d'acquisition rapide » (RAA) pour environ « les 36 prochains mois »[61] (la RAA gère des procédures permettant au département de la Défense des États-Unis d'accélérer l'acquisition de technologies et équipements nécessaires)[62].

Le Joint Artificial Intelligence Center (JAIC) (prononcer « jake »)[63] est une organisation américaine qui explore l'utilisation de l'IA (en particulier l'informatique de pointe), du réseau de réseaux et de la communication améliorée par l'IA, pour une utilisation en combat réel[64],[65],[66],[67]. Il s'agit d'une subdivision des forces armées des États-Unis et a été créée en juin 2018. L'objectif déclaré de l'organisation est de « transformer le département américain de la Défense en accélérant la livraison et l'adoption de l'IA pour obtenir un impact sur la mission à grande échelle. L'objectif est d'utiliser l'IA pour résoudre des problèmes vastes et complexes dans plusieurs systèmes et conditions de combat ; les systèmes et composants de combat ont accès en temps réel à des bibliothèques d'ensembles de données et d'outils en constante amélioration[65], ce qui concourt à un nouveau type de course aux armements.

Royaume-Uni

[modifier | modifier le code]

En 2015, le gouvernement britannique s'est opposé à l'interdiction des armes létales autonomes, déclarant que « le droit international humanitaire prévoit déjà une réglementation suffisante dans ce domaine » ; toutes les armes utilisées par les forces armées britanniques devraient être « sous surveillance et contrôle humains »[68].

Israël

[modifier | modifier le code]

Le drone anti-radar israélien Harpy qui « tire et oublie » est conçu pour être lancé par des troupes au sol et survoler de manière autonome une zone pour trouver et détruire un radar répondant à des critères prédéterminés[69]. L'application de l'IA devrait également progresser dans les systèmes terrestres sans équipage et les véhicules robotiques tels que le Guardium MK III et les versions ultérieures[70]. Ces véhicules robotisés sont utilisés pour la défense des frontières.

Corée du Sud

[modifier | modifier le code]

La mitrailleuse sud-coréenne Super aEgis II, dévoilée en 2010, est utilisée à la fois en Corée du Sud et au Moyen-Orient. Elle identifie, suit et détruit une cible en mouvement à une distance de 4 km. Bien qu'elle puisse fonctionner sans intervention humaine, en pratique, des mesures de protection y sont installées pour nécessiter une saisie manuelle. Un fabricant sud-coréen déclare : « Nos armes ne dorment pas, comme les humains doivent le faire. Elles peuvent voir dans l'obscurité, comme les humains ne le peuvent pas (…) ». L'entreprise veut produire un logiciel capable de discerner si une cible est amie, ennemie, civile ou militaire[71].

Union européenne

[modifier | modifier le code]

Pour le Parlement européen, les humains doivent pouvoir surveillance et contrôler les armes mortelles autonomes[72]. Cependant, il appartient à chaque État membre de l'Union européenne de déterminer sa position sur l'utilisation d'armes autonomes et les positions mitigées des États membres constituent peut-être le plus grand obstacle à la capacité de l'Union européenne à développer des armes autonomes.

Quelques membres comme la France, l'Allemagne, l'Italie et la Suède développent des armes automatisées ou autonomes mortelles. D'autres membres restent indécis quant à l'utilisation d'armes militaires autonomes. Et l'Autriche a appelé à interdire l'utilisation de telles armes[73].

L'Allemagne a développé un système de protection active, l'Active Defense System, capable de répondre à une menace en toute autonomie en moins d'une milliseconde[73],[74]. L'Italie envisage d'intégrer des systèmes d'armes autonomes dans ses futurs plans militaires[73].

Propositions de régulation internationale

[modifier | modifier le code]

La règlementation internationale des armes autonomes est une question émergente pour le droit international[75]. Le contrôle des armements par l'IA nécessitera probablement l'institutionnalisation de nouvelles normes internationales incarnées dans des spécifications techniques efficaces, combinées à une surveillance active et à une diplomatie informelle de la part de communautés d'experts, ainsi qu'à un processus de vérification juridique et politique[2],[3]. Dès 2007, des chercheurs tels que le professeur d'IA Noel Sharkey ont mis en garde contre « l'émergence d'une course aux armements parmi les nations de haute technologie pour développer des sous-marins autonomes, des avions de combat, des cuirassés et des chars capables de trouver leurs propres cibles et d'appliquer une force violente sans implication de décisions humaines significatives »[76],[77].

Miles Brundage (2017), de l'université d'Oxford estime que la diplomatie pourrait atténuer par cette nouvelle course aux armements : « Nous avons vu dans les différentes courses aux armements historiques que la collaboration et le dialogue peuvent rapporter des dividendes »[78].

Plus d'une centaine d'experts ont signé une lettre ouverte en 2017 appelant l'ONU à aborder la question des armes mortelles autonome[79],[80], mais en session (de novembre 2017) de la Convention des Nations Unies sur certaines armes classiques (CCW), les diplomates n'ont même pas pu se mettre d'accord sur la manière de définir ces armes[81]. L'ambassadeur indien et président de la CCW a déclaré qu'un accord sur les règles était encor une perspective lointaine[82]. En 2019, 26 chefs d'État et 21 lauréats du prix Nobel de la paix ont soutenu l'interdiction des armes autonomes[83], mais depuis 2022, la plupart des grandes puissances continuent de s'opposer à une interdiction de ces armes[84].

De nombreux experts estiment que les tentatives visant à interdire complètement les robots tueurs risquent d'échouer[85], en partie parce qu'il serait extrêmement difficile de détecter les violations du traité[86],[87]. Un rapport de 2017 du Belfer Center de Harvard prédit que l'IA a le potentiel d'être aussi transformatrice que les armes nucléaires[78],[88],[89]. Le rapport affirme en outre qu'« il est probablement impossible d'empêcher une utilisation militaire élargie de l'IA » et que « l'objectif plus modeste d'une gestion technologique sûre et efficace doit être poursuivi », comme par exemple interdire l'association d'un système IA de déclenchement par veille automatique IA à un arsenal nucléaire[89].

Autres réactions aux armes autonomes

[modifier | modifier le code]

En 2015, une lettre ouverte de 2015 du Future of Life Institute appelant à l'interdiction des systèmes d'armes létaux autonomes a été signée par plus de 26 000 citoyens, dont le physicien Stephen Hawking, le magnat de Tesla Elon Musk, Steve Wozniak d'Apple et le cofondateur de Twitter Jack Dorsey, et plus de 4 600 chercheurs en intelligence artificielle, dont Stuart Russell, Bart Selman et Francesca Rossi[90],[81]. Le Future of Life Institute a également sorti deux films de fiction, Slaughterbots (2017) et Slaughterbots - if human: kill() (2021), qui décrivent les menaces des armes autonomes et promeuvent leur interdiction, tous deux devenus viraux. Le professeur Noel Sharkey de l'Université de Sheffield affirme que les armes autonomes tomberont inévitablement entre les mains de groupes terroristes tels que l'État islamique[91]. De nombreuses entreprises technologiques occidentales évitent d'être associées trop étroitement à l'armée américaine, de peur de perdre l'accès au marché chinois[42]. En outre, de nombreux développeurs et chercheurs (comme Demis Hassabis, PDG de DeepMind), sont pour des raisons éthiques opposés à toute contribution de leur travail à des objecifs militaire[92].

Par exemple, en juin 2018, des sources internes de Google ont déclaré que la directrice générale Diane Greene avait déclaré au personnel que l'entreprise ne donnerait pas suite au projet Maven après l'expiration du contrat actuel en mars 2019[54].

Références

[modifier | modifier le code]
  • (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Artificial intelligence arms race » (voir la liste des auteurs).
  1. ↑ a b c et d (en-US) John Markoff, « Fearing Bombs That Can Pick Whom to Kill », sur The New York Times, 11 novembre 2014 (ISSN 0362-4331, consulté le 15 mars 2024).
  2. ↑ a et b (en) Edward Moore Geist, « It's already too late to stop the AI arms race—We must manage it instead », Bulletin of the Atomic Scientists, vol. 72, no 5,‎ 15 août 2016, p. 318–321 (ISSN 0096-3402, DOI 10.1080/00963402.2016.1216672, Bibcode 2016BuAtS..72e.318G, S2CID 151967826).
  3. ↑ a et b (en) Matthijs M. Maas, « How viable is international arms control for military artificial intelligence? Three lessons from nuclear weapons », Contemporary Security Policy, vol. 40, no 3,‎ 6 février 2019, p. 285–311 (ISSN 1352-3260, DOI 10.1080/13523260.2019.1576464, S2CID 159310223).
  4. ↑ (en) « How U.S.-China Tech Rivalry Looks Like Cold War 2.0 », sur Bloomberg.com, 17 mai 2019 (consulté le 14 mars 2024).
  5. ↑ (en-US) « Homepage », Lethal Autonomous Weapons, 20 octobre 2021 (consulté le 17 février 2022).
  6. ↑ Heather M. Roff, « The frame problem: The AI "arms race" isn't one », Bulletin of the Atomic Scientists, vol. 75, no 3,‎ 26 avril 2019, p. 95–98 (ISSN 0096-3402, DOI 10.1080/00963402.2019.1604836, Bibcode 2019BuAtS..75c..95R, S2CID 150835614).
  7. ↑ a et b (en) « Understanding China's AI Strategy », sur www.cnas.org (consulté le 15 mars 2024).
  8. ↑ (en) Treverton, G. F., Thvedt, A., Chen, A. R., Lee, K., et McCue, M. (2018). Addressing hybrid threats.
  9. ↑ (en) Tomoko Nagasako, « Global disinformation campaigns and legal challenges », International Cybersecurity Law Review, vol. 1, nos 1-2,‎ octobre 2020, p. 125–136 (ISSN 2662-9720 et 2662-9739, DOI 10.1365/s43439-020-00010-7, lire en ligne, consulté le 14 mars 2024).
  10. ↑ « Getting to grips with military robotics », sur The Economist (ISSN 0013-0613, consulté le 14 mars 2024).
  11. ↑ « Autonomous Systems: Infographic - Digitalization & Software - Pictures of the Future - Innovation - Home - Siemens Global Website », sur web.archive.org, 7 février 2018 (consulté le 14 mars 2024).
  12. ↑ a b et c « China seeks dominance of global AI industry », sur www.ft.com (consulté le 15 mars 2024).
  13. ↑ a et b (en) Dan Kopf, « China is rapidly closing the US’s lead in AI research », sur Quartz, 6 février 2018 (consulté le 14 mars 2024).
  14. ↑ « The battle for digital supremacy », sur The Economist (ISSN 0013-0613, consulté le 14 mars 2024).
  15. ↑ Stuart Armstrong, Nick Bostrom et Carl Shulman, « Racing to the precipice: a model of artificial intelligence development », AI & Society, vol. 31, no 2,‎ 1er août 2015, p. 201–206 (ISSN 0951-5666, DOI 10.1007/s00146-015-0590-y, S2CID 16199902).
  16. ↑ (en-US) Paul Scharre, « Killer Apps », sur Foreign Affairs, 16 avril 2019 (ISSN 0015-7120, consulté le 14 mars 2024).
  17. ↑ a et b Stephen Cave et Seán S. ÓhÉigeartaigh, Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society, New York, New York, USA, ACM Press, 2018 (ISBN 978-1-4503-6012-8, DOI 10.1145/3278721.3278780), « An AI Race for Strategic Advantage », p. 2.
  18. ↑ a b c et d (en) Interim Report, Washington, DC, National Security Commission on Artificial Intelligence, 2019 (lire en ligne).
  19. ↑ (en) Tom O'Connor Senior Writer et Foreign Policy, « Russia Building A Missile With Artificial Intelligence », sur Newsweek, 20 juillet 2017 (consulté le 15 mars 2024).
  20. ↑ « Seeker - YouTube », sur www.youtube.com (consulté le 15 mars 2024).
  21. ↑ Why Elon Musk is right about the threat posed by Russian artificial intelligence |url=https://www.independent.co.uk/life-style/gadgets-and-tech/news/elon-musk-ai-artificial-intelligence-world-war-three-russia-china-robots-cyber-warfare-replicants-a7931981.html ; consulté le 24 déceembre 2017 ; The Independent du 6 Septembre 2017
  22. ↑ (en) Jason Le Miere Politics et World Editor, « Russia Preparing 'Swarms' of Autonomous Drones », sur Newsweek, 15 mai 2017 (consulté le 15 mars 2024).
  23. ↑ a et b (en-GB) « Is 'killer robot' warfare closer than we think? », 24 août 2017 (consulté le 15 mars 2024).
  24. ↑ (en-US) Tom Simonite, « Artificial Intelligence Fuels New Global Arms Race », sur Wired (ISSN 1059-1028, consulté le 15 mars 2024).
  25. ↑ (en) Catherine Clifford, « In the same way there was a nuclear arms race, there will be a race to build A.I., says tech exec », sur CNBC, 29 septembre 2017 (consulté le 15 mars 2024).
  26. ↑ (en) Radina Gigova, « Who Putin thinks will rule the world », sur CNN, 2 septembre 2017 (consulté le 15 mars 2024).
  27. ↑ « Here's How the Russian Military Is Organizing to Develop AI », Defense One, 20 juillet 2018 (consulté le 1er mai 2020).
  28. ↑ a et b (en-US) « Red Robots Rising: Behind the Rapid Development of Russian Unmanned Military Systems », The Strategy Bridge, 12 décembre 2017 (consulté le 1er mai 2020).
  29. ↑ a b et c Artificial Intelligence and National Security, Washington, DC, Congressional Research Service, 2019 (lire en ligne) Cet article contient des extraits d'une publication dont le contenu se trouve dans le domaine public. .
  30. ↑ (en) Bendett, « Should the U.S. Army Fear Russia's Killer Robots? », The National Interest, 8 novembre 2017 (consulté le 1er mai 2020).
  31. ↑ « Russia Says It Will Field a Robot Tank that Outperforms Humans », Defense One, 8 novembre 2017 (consulté le 1er mai 2020).
  32. ↑ (en-US) Greene, « Russia is developing AI missiles to dominate the new arms race », The Next Web, 27 juillet 2017 (consulté le 1er mai 2020).
  33. ↑ (en-US) Mizokami, « Kalashnikov Will Make an A.I.-Powered Killer Robot », Popular Mechanics, 19 juillet 2017 (consulté le 1er mai 2020).
  34. ↑ Dougherty et Molly Jay, « Russia Tries to Get Smart about Artificial Intelligence », Wilson Quarterly.
  35. ↑ (en-US) « Russian AI-Enabled Combat: Coming to a City Near You? », War on the Rocks, 31 juillet 2019 (consulté le 1er mai 2020).
  36. ↑ (en-US) Polyakova, « Weapons of the weak: Russia and AI-driven asymmetric warfare », Brookings, 15 novembre 2018 (consulté le 1er mai 2020).
  37. ↑ (en-US) Polyakova, « Disinformation Wars », Foreign Policy, 25 mai 2018 (consulté le 1er mai 2020).
  38. ↑ Item 6 of the revised provisional agenda ; Examination of various dimensions of emerging technologies in the area of lethal autonomous weapons systems, in the context of the objectives and purposes of the Convention Examination of various dimensions of emerging technologies in the area of lethal autonomous weapons systems, in the context of the objectives and purposes of the Convention Submitted by the Russian Federation |url=https://eandt.theiet.org/sites/default/files/migrated/eandt/eandt/2017-12-russia-rejects-potential-un-killer-robot--russia.pdf ; Genève, 13–17 November 2017
  39. ↑ a et b (en) E+T Editorial Team, « Russia rejects potential UN ‘killer robots’ ban, official statement says », sur Engineering and Technology Magazine, 1er décembre 2017 (consulté le 16 mars 2024).
  40. ↑ « Examination of various dimensions of emerging technologies in the area of lethal autonomous weapons systems, Russian Federation, November 2017 » (consulté le 12 janvier 2018).
  41. ↑ « Technology, Trade, and Military-Civil Fusion: China's Pursuit of Artificial Intelligence, New Materials, and New Energy | U.S.- CHINA | ECONOMIC and SECURITY REVIEW COMMISSION », www.uscc.gov (consulté le 4 avril 2020).
  42. ↑ a et b (en-US) John Markoff et Matthew Rosenberg, « China’s Intelligent Weaponry Gets Smarter », sur The New York Times, 3 février 2017 (ISSN 0362-4331, consulté le 15 mars 2024).
  43. ↑ « China enlists start-ups in high-tech arms race », sur www.ft.com, 9 juillet 2017 (consulté le 15 mars 2024).
  44. ↑ (en) David Emery, « Robots with Guns: The Rise of Autonomous Weapons Systems », sur Snopes, 21 avril 2017 (consulté le 15 mars 2024).
  45. ↑ (en-US) Adrian Pecotic, « Whoever Predicts the Future Will Win the AI Arms Race », sur Foreign Policy, 18 mars 2024 (consulté le 15 mars 2024).
  46. ↑ (en) James Vincent, « China is worried an AI arms race could lead to accidental war », sur The Verge, 7 février 2019 (consulté le 15 mars 2024).
  47. ↑ (en-US) Dave Makichuk, « Is China exporting killer robots to Mideast? », sur Asia Times, 7 novembre 2019 (consulté le 15 mars 2024).
  48. ↑ a et b (en-US) « Harnessed Lightning », sur Center for Security and Emerging Technology (consulté le 15 mars 2024).
  49. ↑ a et b (en) No Author, « The artificial intelligence race heats up », sur The Japan Times, 1er mars 2018 (version du 15 juillet 2023 sur Internet Archive).
  50. ↑ (en) Zachary Cohen, « US risks losing AI arms race to China and Russia », sur CNN, 29 novembre 2017 (consulté le 15 mars 2024).
  51. ↑ (en-US) Christian Davenport, « Future wars may depend as much on algorithms as on ammunition, report says. », sur Washington Post, 9 avril 2023 (ISSN 0190-8286, consulté le 15 mars 2024).
  52. ↑ (en) Ryan Browne, « US general warns of out-of-control killer robots », sur CNN, 19 juillet 2017 (consulté le 15 mars 2024).
  53. ↑ United States. Defense Innovation Board., AI principles: recommendations on the ethical use of artificial intelligence by the Department of Defense (OCLC 1126650738).
  54. ↑ a et b « Google 'to end' Pentagon Artificial Intelligence project - BBC News », sur web.archive.org, 2 juin 2018 (consulté le 15 mars 2024).
  55. ↑ « Report: Palantir took over Project Maven, the military AI program too unethical for Google » [archive du 24 janvier 2020], The Next Web, 11 décembre 2020 (consulté le 17 janvier 2020).
  56. ↑ Robert O. Work, « Establishment of an Algorithmic Warfare Cross-Functional Team (Project Maven) » [archive du 21 avril 2018], 26 avril 2017 (consulté le 3 juin 2018).
  57. ↑ « Google employees resign in protest against Air Force's Project Maven - Fedscoop », sur web.archive.org, 15 juillet 2018 (consulté le 15 mars 2024).
  58. ↑ Gregory C. Allen, « Project Maven brings AI to the fight against ISIS », Bulletin of the Atomic Scientists,‎ 21 décembre 2017 (lire en ligne [archive du 4 juin 2018], consulté le 3 juin 2018).
  59. ↑ Ethan Baron, « Google Backs Off from Pentagon Project After Uproar: Report » [archive du 14 juillet 2018], Military.com, 3 juin 2018 (consulté le 3 juin 2018).
  60. ↑ Dan Skinner, « Signature Management in Accelerated Warfare | Close Combat in the 21st Century », The Cove,‎ 29 janvier 2020 (lire en ligne [archive du 15 juillet 2023], consulté le 15 juillet 2023).
  61. ↑ Cheryl Pellerin, « Project Maven to Deploy Computer Algorithms to War Zone by Year's End » [archive du 4 juin 2018], DoD News, Defense Media Activity, 21 juillet 2017 (consulté le 3 juin 2018).
  62. ↑ https://www.dau.edu/cop/rqmt/documents/manual-dodm-500078-rapid-acquisition-authority-raa
  63. ↑ Kelley M. Sayler (2021, 8 juin) Defense Primer: Emerging Technologies |url=https://web.archive.org/web/20210710211724/https://fas.org/sgp/crs/natsec/IF11105.pdf ; Congressional Research Service
  64. ↑ « DOD Unveils Its Artificial Intelligence Strategy » [archive du 2 septembre 2021], U.S. Department of Defense (consulté le 10 octobre 2021).
  65. ↑ a et b « Joint Artificial Intelligence Center » [archive du 25 juin 2020], Department of Defense (consulté le 26 juin 2020).
  66. ↑ McLeary, « Joint Artificial Intelligence Center Created Under DoD CIO » [archive du 10 octobre 2021], 29 juin 2018 (consulté le 10 octobre 2021).
  67. ↑ Barnett, « For military AI to reach the battlefield, there are more than just software challenges » [archive du 26 juin 2020], FedScoop, 19 juin 2020 (consulté le 26 juin 2020).
  68. ↑ (en-GB) Samuel Gibbs, « Elon Musk leads 116 experts calling for outright ban of killer robots », sur The Guardian, 20 août 2017 (ISSN 0261-3077, consulté le 15 mars 2024).
  69. ↑ « ′Killer robots′: autonomous weapons pose moral dilemma », sur web.archive.org, 11 juillet 2019 (consulté le 15 mars 2024).
  70. ↑ Geoff Slocombe, « Uninhabited Ground Systems (Ugs) », Asia-Pacific Defence Reporter, vol. 41, no 7,‎ 2015, p. 28–29.
  71. ↑ Simon Parkin, « Killer robots: The soldiers that never sleep », BBC,‎ 16 juillet 2015 (lire en ligne [archive du 4 août 2019], consulté le 13 janvier 2018).
  72. ↑ (en) « Texts adopted - Autonomous weapon systems - Wednesday, 12 September 2018 » [archive du 26 janvier 2021], www.europarl.europa.eu (consulté le 30 janvier 2021).
  73. ↑ a b et c (en) Justin Haner et Denise Garcia, « The Artificial Intelligence Arms Race: Trends and World Leaders in Autonomous Weapons Development », Global Policy, vol. 10, no 3,‎ 2019, p. 331–337 (ISSN 1758-5899, DOI 10.1111/1758-5899.12713).
  74. ↑ (en) Vincent Boulanin et Maaike Verbruggen, Mapping the development of autonomy in weapon systems, Stockholm International Peace Research Institute, 2017 (DOI 10.13140/rg.2.2.22719.41127, lire en ligne [archive du 17 janvier 2021]).
  75. ↑ (en) Lucas Bento, « No Mere Deodands: Human Responsibilities in the Use of Violent Intelligent Systems Under Public International Law », Master's thesis, Harvard Extension School,‎ 2017 (lire en ligne [archive du 23 mars 2020], consulté le 14 septembre 2019).
  76. ↑ (en) « Ban on killer robots urgently needed, say scientists », sur web.archive.org, 24 décembre 2017 (consulté le 15 mars 2024).
  77. ↑ (en) « Noel Sharkey: Robot wars are a reality », sur web.archive.org, 6 janvier 2018 (consulté le 15 mars 2024).
  78. ↑ a et b (en-US) Tom Simonite, « AI Could Revolutionize War as Much as Nukes », sur Wired (ISSN 1059-1028, consulté le 15 mars 2024).
  79. ↑ « Elon Musk leads 116 experts calling for outright ban of killer robots », The Guardian,‎ 20 août 2017 (lire en ligne [archive du 30 décembre 2019], consulté le 11 janvier 2018).
  80. ↑ Conn, « An Open Letter to the United Nations Convention on Certain Conventional Weapons » [archive du 6 décembre 2017], Future of Life Institute, 20 août 2017 (consulté le 14 janvier 2018).
  81. ↑ a et b « Rise of the killer machines », Asia Times,‎ 24 novembre 2017 (lire en ligne, consulté le 24 décembre 2017).
  82. ↑ « 'Robots are not taking over,' says head of UN body on autonomous weapons », The Guardian,‎ 17 novembre 2017 (lire en ligne [archive du 5 décembre 2021], consulté le 14 janvier 2018).
  83. ↑ (en) « Campaign to stop 'killer robots' takes peace mascot to UN », The Guardian,‎ 21 octobre 2019 (lire en ligne [archive du 18 janvier 2022], consulté le 27 janvier 2022).
  84. ↑ (en) « The world just blew a 'historic opportunity' to stop killer robots », Fortune,‎ 2021 (lire en ligne [archive du 31 décembre 2021], consulté le 31 décembre 2021).
  85. ↑ (en) Tom Simonite, « Sorry, Banning 'Killer Robots' Just Isn't Practical », Wired,‎ 22 août 2017 (lire en ligne [archive du 23 juillet 2021], consulté le 14 janvier 2018).
  86. ↑ Antebi, Liran. "Who Will Stop the Robots?." Military and Strategic Affairs 5.2 (2013).
  87. ↑ Shulman, C., & Armstrong, S. (2009, July). Arms control and intelligence explosions. In 7th European Conference on Computing and Philosophy (ECAP), Bellaterra, Spain, July (pp. 2-4).
  88. ↑ Matt McFarland, « 'Slaughterbots' film shows potential horrors of killer drones », CNNMoney,‎ 14 novembre 2017 (lire en ligne [archive du 15 septembre 2021], consulté le 14 janvier 2018).
  89. ↑ a et b Allen, Greg, and Taniel Chan. "Artificial Intelligence and National Security." Report. Harvard Kennedy School, Harvard University. Boston, MA (2017).
  90. ↑ (en-US) « Autonomous Weapons Open Letter: AI & Robotics Researchers » [archive du 25 mai 2022], Future of Life Institute, 9 février 2016 (consulté le 17 février 2022).
  91. ↑ Brian Wheeler, « Terrorists 'certain' to get killer robots », BBC News,‎ 30 novembre 2017 (lire en ligne [archive du 15 septembre 2021], consulté le 24 décembre 2017).
  92. ↑ Cade Metz, « Pentagon Wants Silicon Valley's Help on A.I. », The New York Times,‎ 15 mars 2018 (lire en ligne [archive du 19 mars 2018], consulté le 19 mars 2018).

Voir aussi

[modifier | modifier le code]

Articles connexes

[modifier | modifier le code]
  • Alignement de l'IA
  • L'IA en hausse
  • Course aux armements
  • Intelligence générale artificielle
  • Intelligence artificielle
  • Logiciel de détection d'intelligence artificielle
  • Guerre froide de l'intelligence artificielle
  • Guerre froide
  • Éthique de l'intelligence artificielle
  • Risque existentiel lié à l'intelligence artificielle générale
  • Arme autonome mortelle
  • Robot militaire
  • Course aux armements nucléaires
  • L'ère de l'après-guerre froide
  • Seconde Guerre froide
  • Course spatiale
  • Véhicule aérien de combat sans pilote
  • IA faible

  • icône décorative Portail des armes
  • icône décorative Portail de l’intelligence artificielle
Ce document provient de « https://fr.teknopedia.teknokrat.ac.id/w/index.php?title=Course_aux_armements_intelligents&oldid=229567083 ».
Catégories :
  • Cybernétique
  • Intelligence artificielle
Catégories cachées :
  • Page utilisant un modèle Bases inactif
  • Article utilisant le modèle Dictionnaires inactif
  • Page utilisant le modèle Autorité inactif
  • Portail:Armes/Articles liés
  • Portail:Histoire militaire/Articles liés
  • Portail:Technologies/Articles liés
  • Portail:Intelligence artificielle/Articles liés
  • Portail:Informatique/Articles liés
  • Pages avec des traductions non relues

  • indonesia
  • Polski
  • الرية
  • Deutsch
  • English
  • Español
  • Français
  • Italiano
  • مصر
  • Nederlands
  • 本語
  • Português
  • Sinugboanong Binisaya
  • Svenska
  • Українска
  • Tiếng Việt
  • Winaray
  • 中文
  • Русски
Sunting pranala
Pusat Layanan

UNIVERSITAS TEKNOKRAT INDONESIA | ASEAN's Best Private University
Jl. ZA. Pagar Alam No.9 -11, Labuhan Ratu, Kec. Kedaton, Kota Bandar Lampung, Lampung 35132
Phone: (0721) 702022
Email: pmb@teknokrat.ac.id