Anthropic предупреждава: Claude може скоро да ускори собственото си развитие

Anthropic, компанията зад Claude, добави необичайно предупреждение в обновения си проспект за борсово листване (S-1/A), подаден в Комисията по ценните книжа на САЩ на 2 ноември. Според документа използването на AI в собствената ѝ изследователска работа може да направи моделите по-способни по-бързо, отколкото компанията успява да разработи и провери мерките за безопасност.

Какво е рекурсивно самоусъвършенстване (RSI)

RSI (recursive self-improvement) описва момента, в който AI става толкова добър в създаването и обучението на AI, че развитието рязко се ускорява. За едни това е голямото обещание на технологията – огромна производителност и научни открития. За други е най-големият риск: система, която се развива по-бързо, отколкото хората могат да я контролират.

Какво точно пише Anthropic

• Компанията признава, че в миналото не е забелязала навреме значително ускоряване в развитието на свои модели, създадени с помощта на AI, и че това може да се случи отново.
• Според вътрешните ѝ оценки и очакванията за бъдещи модели тя „може в близко бъдеще да достигне“ прага от своята Политика за отговорно мащабиране за „драматично ускорен прогрес, дължащ се на AI“.
• Нито един от сегашните модели не е определен като преминал този праг, а данните продължават да се анализират.
• Anthropic заявява, че не очаква да може безопасно да остави Claude да проектира и изгражда следващите поколения модели напълно самостоятелно, без смислен човешки надзор, и обмисля промени в политиката си, за да запази контрола в ръцете на хората.

Скептиците напомнят, че проспектът за листване е едновременно задължително разкриване на рискове и маркетингов документ. Твърдението „почти сме създали AI, който се надгражда сам“ работи добре и пред инвеститорите.

Какво означава това за маркетолозите и бизнеса

• Темпото няма да се забави. Ако дори компанията, която прави модела, не винаги вижда навреме скоковете в способностите му, екипите трябва да планират с идеята, че инструментите им ще се променят на всеки няколко месеца.
• Процесите са по-важни от конкретния инструмент. Вместо да изграждате работата си около една версия на модел, изградете проверки: кой одобрява текстовете, как се проверяват фактите, кога човек трябва да каже последната дума.
• Четете предупрежденията с критично око. Големите заявления на AI компаниите често са и позициониране. Преценявайте инструментите по реалните резултати във вашата работа, а не по заглавията.

Ако искате да разберете как работят съвременните AI инструменти и как да ги използвате практично, разгледайте обученията на Advance Academy по изкуствен интелект.

Често задавани въпроси

Може ли Claude вече сам да създава нови AI модели?

Не напълно. Anthropic използва AI като помощник в изследванията си, но заявява, че не очаква да остави Claude да проектира и изгражда нови модели самостоятелно, без смислен човешки надзор.

Преминал ли е някой модел на Anthropic прага за RSI?

Не. Според документа нито един от сегашните модели не е определен като преминал прага. Предупреждението се отнася до бъдещи модели и вътрешни оценки.

Защо това предупреждение е в документ за борсата?

Проспектът за листване трябва да описва рисковете пред бизнеса. Затова Anthropic включва в него и риска от твърде бързо развитие на собствените си модели. Критиците обаче отбелязват, че такъв документ има и маркетингова роля.

Източници: TechCrunch – Anthropic warns that it's very close to RSI capability, aka self-building AI; Anthropic – S-1/A, SEC