Тестирование современных LLM моделей проводится с помощью стандартных бенчмарков, которые оценивают математические способности, программирование, понимание текста или умение строить логические выводы. Однако эти тесты слабо отражают умение моделей вести переговоры, адаптироваться к ситуации и выстраивать социальные взаимодействия.
Давайте выйдет за рамки сухих метрик и поместим нейросети в условия, где логика уступает место психологии. В этой статье мы посмотрим, как будут вести себя языковые модели, оказавших в сложной сиутации, где нужно уметь договариваться, обсуждать и продумывать свои действия наперед.
Ознакомиться
Смогут ли LLM выжить во время катастрофы? Gemini, ChatGPT и другие играют в «Бункер» (анализ поведения)
Source: geektimes