Йошуа Бенджио, известен компютърен учен, определян като един от „кръстниците“ на изкуствения интелект (AI), ще бъде президент на LawZero - организация, ангажирана с безопасното проектиране на авангардната технология, която предизвика конкуренция на стойност 1 трилион долара.

Започвайки с финансиране на стойност приблизително 30 млн. долара и над 10 изследователи, Бенджио разработва система на име Scientist AI, която ще действа като предпазна мярка срещу агенти с изкуствен интелект, които изпълняват задачи без човешка намеса, показвайки измамно или самосъхраняващо се поведение, като например опит да избегнат изключване.

Описвайки настоящия набор от агенти с изкуствен интелект като „актьори“, които се стремят да имитират хората и да угодят на потребителите, той казва, че системата с изкуствен интелект Scientist AI ще бъде по-скоро като „психолог“, който може да разбира и предсказва лошо поведение.

„Искаме да изградим изкуствен интелект, който ще бъде честен и няма да подвежда. Теоретично е възможно да си представим машини, които нямат „аз“, нямат цел за себе си, които са просто машини на чистото знание – подобно на учен, който знае много неща.“

За разлика от настоящите инструменти с генеративен изкуствен интелект, системата на Бенджио няма да дава окончателни отговори, като вместо това ще предоставя вероятности за това дали те са правилни.  

„Тя има чувство на смирение, че не е сигурна в отговора“.

Използван заедно с агент с изкуствен интелект, моделът на Бенджио би сигнализирал за потенциално вредно поведение от страна на автономна система, след като е преценил вероятността действията ѝ да причинят поражения.

Scietist AI ще „предсказва вероятността действията на даден агент да доведат до вреда“ и ако тази вероятност е над определен праг, предложеното действие на този агент ще бъде блокирано.

Сред първоначалните поддръжници на LawZero са организацията за безопасност на изкуствения интелект Future of Life Institute, Яан Талин, която е основател на Skype и Schmidt Sciences - изследователска организация, основана от бившия главен изпълнителен директор на Google Ерик Шмит.

Бенджио заяви, че първата стъпка за LawZero ще бъде да демонстрира, че методологията, която стои в основата на концепцията, работи, а след това да убеди компании или правителства да подкрепят по-големи и по-мощни версии.

Моделите с изкуствен интелект с отворен код, които са свободно достъпни за внедряване и адаптиране, ще бъдат отправната точка за обучение на системите на LawZero, допълва Бенджио.

„Целта е да демонстрираме методологията, за да можем след това да убедим донори, правителства или лаборатории за изкуствен интелект да отделят необходимите ресурси за обучението на тази система в същия мащаб, като настоящите изкуствени интелекти. Наистина е важно защитният изкуствен интелект да бъде умен поне колкото и агента на изкуствения интелект, когото се опитва да наблюдава и контролира“.

Бенджио, преподавател в университета в Монреал, си спечели прозвището „кръстник“, след като през 2018 г. си подели наградата Тюринг, смятана за еквивалент на Нобелова награда за компютърни науки, с Джефри Хинтън и Ян ЛеКун, ръководител на изкуствения интелект в Meta.

Бенджио е един от основните поддръжници на безопасността на изкуствения интелект. Той председателстваше изготвянето на неотдавнашен доклад за международната безопасност на AI, който предупреждава, че автономните агенти могат да причинят „сериозни“ нарушения, ако станат „способни да изпълняват по-дълги поредици от задачи без човешки надзор“.

Бенджио заяви, че е обезпокоен от неотдавнашното признание на Anthropic, че най-новата им система може да се опита да изнудва инженери, които се опитват да я спрат.

Той също така посочи изследвания, според които моделите с изкуствен интелект са способни да крият истинските си възможности и цели. Тези примери показват, че светът се насочва към „все по-опасна територия“ с изкуствен интелект, който е способен да разсъждава по-добре, казва Бенджио.

Новините на Darik Business Review във Facebook , Instagram , LinkedIn и Twitter !