Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу - Нума Дхамани

Если вы уже не новичок в LLM, то можете сразу приступить к изучению проектов с открытым исходным кодом и внести свой вклад в разработку. Для начала неплохо было бы найти LLM или инструмент с открытым исходным кодом, который вас заинтересовал, затем перейти на его репозиторий на GitHub и изучить в разделе README, как можно внести свой вклад. И даже если в репозитории нет раздела для участников, вы можете просто протестировать код и оставить отзыв. Вы можете улучшить функциональность LLM, исправить ошибки или даже внедрить новые функции. Вы также можете провести тестирование и сообщить о проблемах или ошибках, и это поможет улучшить качество и надежность проекта в целом.

Еще одним важным, но иногда недооцениваемым вкладом является создание документации и модерация сообщества. Вы можете создавать и поддерживать документацию, координировать действия участников и помогать пользователям эффективно использовать модель. Вы также можете написать публикацию в блоге или создать пошаговое видеоруководство, которое может быть чрезвычайно полезным для сообщества. Помимо технической помощи, вы можете активно участвовать в дискуссиях и форумах, чтобы создать открытую среду для инноваций и решения проблем. Вовлечение в жизнь сообщества также является отличным способом дать возможность широкому кругу пользователей взаимодействовать с моделью, обеспечить доступность и поддержать демократизацию технологии. Мы надеемся, что эти разнообразные способы вовлечения помогут вам почувствовать свой потенциал, внести вклад в сообщество разработчиков свободного ПО и создать более открытую и инновационную экосистему LLM.

9.5. Итоги

Хотя было много попыток дать определение общему искусственному интеллекту (AGI), общепризнанного, а главное, проверяемого определения пока не существует. Мы называем общим искусственным интеллектом систему, которая способна выполнять любые когнитивные задачи на уровне человека или выше.

Широко распространены две точки зрения в отношении AGI: утопия, когда решения, принимаемые ИИ, устраняют все наши проблемы; и антиутопия, когда ИИ приводит к повсеместной безработице, социальному неравенству или возникновению потенциальных угроз самому человечеству.

Идея AGI уходит корнями в евгенику и трансгуманизм, которые по своей сути являются дискриминационными; современная идеология лонгтермизма фокусируется на гипотетических перспективах или рисках, связанных с ИИ, вместо вполне реальных рисков, актуальных сегодня.

Несмотря на отдельные заявления о наличии сознания у ИИ, нет никаких доказательств этого, хотя остаются открытыми вопросы о том, как может выглядеть искусственное сознание и возможно ли оно в принципе.

Обучение и масштабное внедрение LLM требует огромных вычислительных затрат и, следовательно, большого количества электроэнергии. Сложно подсчитать общее количество выбросов в CO2‐эквиваленте за весь жизненный цикл LLM, но недавние оценки показывают, что выбросы от двух моделей примерно одинакового размера – BLOOM и GPT‐3 – составили примерно 25 и 502 тонн в CO2‐эквиваленте соответственно.

В сообществе разработчиков LLM наблюдается стремление к более систематическому предоставлению отчетности о воздействии LLM на окружающую среду. Например, в технические отчеты начинают включать оценки углеродного следа. Также появляются инструменты с открытым исходным кодом, которые помогают измерить энергопотребление.

Утечка модели LLaMa на 4chan изменила правила игры для крупных разработчиков проприетарных LLM: в сообществе свободного ПО начался бум выпуска дешевых и производительных моделей.

Прозрачность и доступность LLM с открытым исходным кодом приводит к разнообразию точек зрения, инновациям и помогает свести к минимуму предвзятость. Однако злоумышленникам легче использовать LLM с открытым исходным кодом, в особенности потому, что в отличие от проприетарных моделей в них не встроены защитные механизмы.

Мы надеемся, что у вас есть возможность и желание участвовать в сообществе разработчиков LLM с открытым исходным кодом и помогать нам создавать открытое и инновационное будущее.

Приложение A. Ссылки на источники

1. Большие языковые модели: вся мощь ИИ

1. «Open-air on Twitter: „Try talking with Catgut, our new AI system which is optimized for dialogue. Your feedback will help us improve it“». Twitter. https://twitter.com/OpenAI/status/1598014522098208769?cxt=HHwWgsCi-bfvpK0sAAAA.

2. W. D. Heaven, «ChatGPT is everywhere. Here’s where it came from». MIT Technology Review, Feb. 08, 2023. https://www.technologyreview.com/2023/02/08/1068068/chatgpt-is-everywhere-heres-where-it-came-from/.

3. G. Kay, «Bill Gates calls ChatGPT „every bit as important as the PC“ or the internet». Insider, Feb. 02, 2023. https://www.businessinsider.com/bill-gates-chatgpt-ai-artificial-intelligenct-as-important-pc-internet‐2023-2.

4. «Leon Musk-funded AI text generator was too dangerous for the public». https://www.fastcompany.com/90308169/openai-refuses-to-release-software-because-its-too-dangerous.

5. A. M. Turing, «I. – COMPUTING MACHINERY AND INTELLIGENCE». Mind, vol. LIX, no. 236, pp. 433–460, Oct. 1950, doi: https://doi.org/10.1093/mind/LIX.236.433.

6. B. Perrigo, «AI Chatbots Are Getting Better. But an Interview With ChatGPT Reveals Their Limits». Time, Dec. 05, 2022. https://time.com/ 6238781/chatbot-cha tgpt-ai-interview/.

7. D. Hall, «The ELIZA Effect». 99 % Invisible, Dec. 11, 2019. https://99percentinvisible.org/episode/the-eliza-effect/.

8. L. Hardesty, «Explained: Neural networks». MIT News | Massachusetts Institute of Technology. https://news.mit.edu/2017/explained-neural-networks-deep-learning‐0414.

9. D. Bahdanau, K. Cho, and Y. Bengio, «Neural Machine Translation by Jointly Learning to Align and Translate». Sep. 01, 2014. (Онлайн). http://arxiv.org/abs/1409.0473.

10. A. Vaswani et al., «Attention Is All You Need». Jun. 12, 2017. (Онлайн). http://arxiv.org/abs/1706.03762 (перевод статьи см. https://habr.com/ru/companies/ruvds/articles/723538/).

11. «Improving Language Understanding by Generative Pre-Training». https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf.

12. «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding». https://arxiv.org/pdf/1810.04805.pdf.

13. «The LAMBADA dataset: Word prediction requiring a broad discourse context». https://arxiv.org/pdf/1606.06031.pdf.

14. «HellaSwag: Can a Machine Really Finish Your Sentence?» https://arxiv.org/pdf/1905.07830.pdf.

15. «ROCStories and the Story Cloze Test». https://cs.rochester.edu/nlp/rocstories/.

16. «CoQA: A Conversational Question Answering Challenge». https://arxiv.org/pdf/1808.07042.pdf.

17. This is Jeopardy: The Story of America’s Favorite Quiz Show Episode Eight: A Computer Called Watson A Production of Sony Music Entertainment, and Sony Pictures TV. https://www.jeopardy.com/sites/default/files/2023-06/ThisisJeopardyEp8.pdf.

18. «GPT‐4 Technical Report». https://arxiv.org/pdf/2303.08774.pdf.

19. «DEEP LEARNING FOR SYMBOLIC MATHEMATICS». https://arxiv.org/pdf/1912.01412.pdf.

20. «Solving Quantitative Reasoning Problems with Language Models». https://arxiv.org/pdf/2206.14858.pdf.

21. Casetext, «Casetext Unveils CoCounsel, the Groundbreaking AI Legal Assistant Powered by OpenAI Technology». PR Newswire, Mar. 01, 2023. https://www.prnewswire.com/news-releases/casetext-unveils-cocounsel-the-groundbreaking-ai-legal-assistant-powered-by-openai-technology‐301759255.html.

22. PricewaterhouseCoopers, «PwC announces strategic alliance with Harvey, positioning PwC’s Legal Business Solutions at the forefront of legal generative AI». Pw C. https://www.pwc.com/gx/en/news-room/press-releases/2023/pwc-announces-strategic-alliance-with-harvey-positioning-pwcs-legal-business-solutions-at-the-forefront-of-legal-generative-ai.html.

23. Fan and Research Assistant, «Introducing the First AI Model That Translates 100 Languages Without Relying on English». Meta [126], Oct. 19, 2020. https://about.fb.com/news/2020/10/first-multilingual-machine-translation-model/.

24. T. Bolukbasi, K.-W. Chang, J. Zou, V. Saligrama, and A. Kalai, «Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings». Jul. 21, 2016. (Онлайн). http://arxiv.org/abs/1607.06520.

25. «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?». ACM Digital Library. https://dl.acm.org/doi/pdf/ 10.1145/3442188.3445922.

26. M. Coulter and G. Bensinger, «Alphabet shares dive after Google AI chatbot Bard flubs answer in ad». Reuters, Reuters, Feb. 09, 2023. (Онлайн). https://www.reuters.com/technology/google-ai-chatbot-bard-offers-inaccurate-information-company-ad‐2023–02–08/.

27. «Do large language models need sensory grounding for meaning and understanding?». Google Docs. https://drive.google.com/file/d/1BU5bV3X5w65DwSMapKcsr0ZvrMRU_Nbi/view?usp=embed_facebook.

28. C. Li, «OpenAI’s GPT‐3 Language Model: A Technical Overview». Jun. 03, 2020. https://lambdalabs.com/blog/demystifying-gpt‐3.

29. «ESTIMATING THE CARBON FOOTPRINT OF BLOOM, A 176B PARAMETER LANGUAGE MODEL». https://arxiv.org/pdf/ 2211.02001.pdf.

30. «Carbon Emissions and Large Neural Network