Формальная проверка помогает там, где задан точный проверяемый результат. Для открытых задач нужны также испытания, ограничения действий и надзор.
О событииГлавная проблема долгих задач — ошибка без сигнала об ошибке: система уверенно выдаёт неверный результат.
У агента ошибка одного шага становится входом для следующего, поэтому на длинной траектории небольшие промахи складываются. Надёжность требует не только более сильной модели, но и явных проверок состояния, ограничений действий, журналирования и возможности безопасно остановить процесс.
Источник: METR · длинные задачиО событииПроверки на биориски и кибероперации стали штатной частью выпуска фронтир-модели, а не жестом доброй воли.
Фронтир-лаборатории уже публикуют рамки, связывающие уровень измеренной опасной способности с обязательными защитными мерами. Это ещё не сертификат безопасности: сами оценки развиваются, а результаты зависят от сценариев тестирования и качества внешней проверки.
Источник 1: OpenAI · Preparedness FrameworkИсточник 2: Anthropic · Responsible Scaling PolicyО событииМетоды трассировки уже исследовали отдельные механизмы Claude 3.5 Haiku. Они показывают только часть вычислений и требуют ручного анализа — это ещё не полная прозрачность модели.
О событииРегулирование превращает проверяемость из добродетели в требование к поставке.
О событииФормальная гарантия, что система не выйдет за очерченные границы, — аналог сертификации самолёта.
Первоисточники, на которых основано досье: научные публикации, материалы лабораторий и официальные отчёты.