Следващият флагман с изкуствен интелект (AI) на OpenAI отчита по-малки подобрения, в сравнение с предишните си версии, според публикация на The Information, което е признак, че процъфтяващата индустрия на генеративния изкуствен интелект може би се приближава към плато.

Следващият модел на създателя на ChatGPT - Orion, отчита едва минимално подобрение, в сравнение с GPT-4, според The Information, като изданието се позовава на служители на компанията, които са го ползвали или тествали.

Скокът при Orion е по-малък, в сравнение с този между GPT-3 и GPT-4, особено по отношение на задачите, свързани с програмиране, се казва още в публикацията.

Това разпалва отново дебата относно осъществимостта на все по-усъвършенствани модели и закони за мащабиране на AI, или теоретичните правила за това как моделите се подобряват.

Главният изпълнителен директор на OpenAI Сам Алтман заяви в платформата X през февруари, че "законите за мащабирането се решават от Господ, а константните величини се определят от членове на техническия екип."

"Законите", които Алтман визира, предполагат, че AI моделите стават по-умни с увеличаване на размерите си и получаването на достъп до повече данни и изчислителна мощ.

Алтман все още може да се присъедини към виждането, че предварително определена формула решава колко по-умен може да стане AI, но публикацията на The Information показва, че технически служители на неговата компания поставят под въпрос тези закони - на фона на ожесточения дебат в Силициевата долина относно увеличаващите се доказателства, че водещите модели се сблъскват със стена по отношение на производителността.

Достигнаха ли законите за мащабиране до задънена улица?

Обучението на Orion още не е завършило, но въпреки това от OpenAI са прибегнали до допълнителни мерки, за да подобрят производителността му, като включването на подобрения след обучението, базирани на човешка обратна връзка, казват от The Information.

Моделът, който беше представен преди година, може да отчете драстични подобрения преди пускането му. Това обаче е признак, че бъдещите поколения AI модели, които помогнаха на компании да наберат милиарди долари и да получат много високи пазарни оценки, може да изглеждат по-малко впечатляващи с всяка следваща версия.

Има две основни причини, поради които това може да се случи.

Данните, които са един основен елемент от уравнението за законите за мащабиране, се намират по-трудно, след като компаниите бързо изчерпаха наличните онлайн данни.

Те вече използваха огромни количества създадени от хората данни, в това число текст, видеа, научни статии и романи, за да обучават моделите, които стоят зад техните AI инструменти и функционалности, но предлагането е ограничено.

Изследователската компания Epoch AI прогнозира през юни, че компаниите може да изчерпат използваемите текстови данни до 2028 г. Някои компании се опитват да преодолеят ограниченията, като прибягват до синтетични данни, генерирани от самия AI, но това също си има проблеми.

"За въпроси, свързани с общи познания, може да се каже, че засега виждаме плато в представянето на големите езикови модели," казва пред The Information Йон Стоица, съосновател и изпълнителен председател на компанията за корпоративен софтуер Databricks, допълвайки, че "фактическите данни" са били по-полезни от синтетичните.

Изчислителната мощ - другият фактор, който в исторически план повишава производителността на AI, също не е ограничена. В отговор на въпрос в Reddit по-рано през месеца Алтман призна, че неговата компания се е сблъскала с "много ограничения и тежки решения" по отношение на разпределението на изчислителните си ресурси.

Не е чудно, че някои експерти от индустрията започват да забелязват, че AI модели, които са излезли тази година, както и бъдещи такива, показват признаци на по-малки скокове в производителнсотта, в сравнение със своите прешественици.

Намаляваща възвръщаемост

Гари Маркъс, почетен преподавател в Нюйоркския университет и отявлен критик на въодушевлението около AI, твърди, че развитието на изкуствения интелект е обречено да се сблъска със стена.

Той изразява гласно убеждението си, че AI показва "намаляваща възвръщаемост" и реагира на публикацията на The Information със собствен пост на име "Потвърдено: Големите езикови модели достигнаха етап на намаляваща възвръщаемост."

Когато конкурентът на OpenAI Anthropic пусна своя модел Claude 3.5 през юни, Маркъс определи производителността му като сходна на тази на много други модели.

AI пазарът похарчи милиарди долари в опит да надвие конкуренцията, само за да предостави доказателства за "конвергенция, а не за продължаващ експоненциален растеж," каза Маркъс.

Иля Слуцкевер, съосновател на OpenAI и Safe Superintelligence, намекна за същото. След излизането на публикацията на The Information той заяви пред Reuters, че резултатите от мащабирането на предварителното обучение са достигнали плато, допълвайки: "Мащабирането на правилното нещо в момента е по-важно от когато и да било."

AI индустрията ще продължи да търси начини да предизвика огромни скокове в производителността. Главният изпълнителен директор на Anthropic Дарио Амодей прогнозира, че обучението на AI модели ще навлезе в нова ера през следващата година, в която те може да струват 100 млрд. долара.

Алтман е казвал преди, че обучението на GPT-4 е струвало над 100 млн. долара. Остава да се види колко умен може да стане един AI модел с толкова много капитали зад гърба си.

Мащабиране на оптимизма

Други лидери от Силициевата долина, сред които и Алтман, все още са оптимистично настроени относно потенциала за мащабиране на AI. През юли технологичният директор на Microsoft Кевин Скот отхвърли опасенията, че напредъкът на AI се забавя.

Може също така да има стратегии AI моделите да бъдат направени по-умни чрез подобряване на частта от разработването, която е свързана с изводите -  работата, която се върши за усувършенстване на резултатите от AI, след като моделите са били обучени, посредством данни, които не са виждали преди.

Моделът, който OpenAI пусна през септември, наречен OpenAI o1, се фокусираше повече върху подобренията, свързани с изводите.

Той успява да надмине своите предшественици при сложни задачи, постигайки ниво на интелигентност, сходно на това на докторанти по референтни задачи по физика, химия и биология, заявиха от OpenAI.

Въпреки това е ясно, че подобно на Алтман, голяма част от индустрията остава твърда в убеждението си, че законите за мащабиране са двигателят на производителността на AI. Ако бъдещите модели не са достатъчно добри, очаквайте преоценка на бума.

Новините на Darik Business Review във Facebook , Instagram , LinkedIn и Twitter !