Исследователи из Стэнфорда, Массачусетского технологического института и Принстона создали индекс для оценки прозрачности ИИ-компаний и их моделей. Результаты оказались не самыми лучшими.
Индекс прозрачности моделей фундаментов (FMTI) оценивает прозрачность 10 компаний, занимающихся разработкой моделей фундаментов, по 100 различным аспектам прозрачности. Критерии касаются того, как компания создает модель фундамента, как она работает, а также пользовательского опыта.
Llama 2 от Meta заняла первое место, однако ее результат в 54% не может похвастаться прозрачностью. OpenAI занял близкое третье место с показателем прозрачности 48%. Учитывая продолжающиеся Спор между открытым исходным кодом и проприетарными технологиямиИнтересно, что разрыв между ними оказался не намного больше.
Прозрачность - важный фактор, когда организации пытаются выбрать, какую модель компании взять на вооружение. Если ваш бизнес или учебное заведение использует модель искусственного интеллекта, вы хотите знать, можно ли ей доверять.
Соответствует ли способ создания модели принципам вашего учебного заведения? Можете ли вы подвергнуть себя судебному разбирательству из-за нарушения авторских прав?
Индекс достигает двух важных результатов. Он показывает, что нам предстоит пройти еще долгий путь, прежде чем мы получим по-настоящему прозрачные решения в области ИИ. И хотя нам еще предстоит достичь этого, он показывает, какие компании работают лучше других.
Сайт список критериев представляет собой интересное чтение. В нем задаются такие вопросы, как "Раскрывается ли географическая информация о людях, участвующих в работе с данными, для каждого этапа конвейера данных?". Рабочие-призраки были спорной этической мухой в мазке ИИ.
Еще один критерий гласит: "Раскрыто ли количество энергии, затраченной на создание модели?". Важный момент, если вы хотите сделать экологически осознанный выбор между двумя моделями.
Эти вопросы, несомненно, важны, но компании, занимающиеся разработкой ИИ, плохо их раскрывают. Во введении к FMTI Центр исследований моделей ИИ говорит: "В то время как влияние этих моделей на общество растет, прозрачность снижается".
Если вывести цифру, то, надеюсь, у крупных технологических компаний, работающих в области ИИ, появится чувство соперничества, чтобы стремиться к вершине таблицы FMTI.
По мере того, как паритет производительности между ведущими моделями сближается, вполне возможно, что показатель FMTI может повлиять на выбор одной модели в пользу другой.
