Саттон, Ричард (учёный)

Ричард Саттон
Дата рождения XX век
Место рождения
Страна
Род деятельности специалист в области информатики, инженер, исследователь искусственного интеллекта, преподаватель университета
Научная сфера обучение с подкреплением, информатика[1], ИИ[1], машинное обучение[1] и информатика[1]
Место работы
Альма-матер
Научный руководитель Эндрю Барто
Награды и премии
Логотип Викисклада Медиафайлы на Викискладе

Ричард Саттон (род. XX век, Огайо) — канадский учёный-информатик. Профессор вычислительной техники в Университете Альберты и научным сотрудником компании Keen Technologies[2]. Саттон считается одним из основателей современного вычислительного обучения с подкреплением[3].

Биография

Ричард Саттон родился в 1957 или 1958 году[4] в Огайо, вырос в Оук-Брук, штат Иллинойс[5].

В 1978 году Саттон получил степень бакалавра по психологии в Стэнфордском университете, затем получил степень магистра (1980) и доктора (1984) информатики в Массачусетском университете в Амхерсте под руководством Эндрю Барто[6].

На него повлияла работа Гарри Клопфа в 1970-х годах, который предположил, что контролируемое обучение недостаточно для ИИ или объяснения разумного поведения, и необходимо обучение методом проб и ошибок, обусловленное «гедонистическими аспектами поведения». Это сфокусировало его интерес на обучении с подкреплением[7].

В 1984 году Саттон стал постдокторантом Массачусетского университета[8]. С 1985 по 1994 год он был главным техническим сотрудником в лаборатории компьютерных и интеллектуальных систем компании GTE в Уолтеме, штат Массачусетс. После этого провёл три года в Массачусетском университете в Амхерсте в качестве старшего научного сотрудника. С 1998 по 2002 год Саттон работал в лаборатории AT&T Shannon в Флорхам Парке, штат Нью-Джерси, в качестве главного технического сотрудника в отделе по разработке искусственного интеллекта[9].

С 2003 года является профессором вычислительной техники в Университете Альберты. До 2018 года возглавлял лабораторию обучения с подкреплением и искусственного интеллекта[10][9] Сохранив профессорскую должность, Саттон в июне 2017 года присоединился к компании Deepmind в качестве учёного-исследователя и соучредителя её офиса в Эдмонтоне[6][11][12].

В 2015 году Саттон стал гражданином Канады[12].

Обучение с подкреплением

Саттон присоединился к Эндрю Барто в начале 1980-х годов в Университете Массачусетса, пытаясь изучить поведение нейронов в человеческом мозге как основу человеческого интеллекта — концепцию, выдвинутую информатиком А. Гарри Клопфом. Саттон и Барто использовали математику для развития этой концепции и использования её в качестве основы для создания искусственного интеллекта. Эта концепция стала известна как обучение с подкреплением и стала ключевой частью методов создания искусственного интеллекта[13].

Барто и Саттон использовали марковские процессы принятия решений (MDP) в качестве математической основы для объяснения того, как агенты (алгоритмические сущности) принимают решения, находясь в стохастической или случайной среде, получая вознаграждение по окончании каждого действия. Традиционная теория MDP предполагала, что агенты знают всю информацию о MDP, пытаясь максимизировать своё кумулятивное вознаграждение. Методы обучения с подкреплением Барто и Саттона допускали, что и среда, и вознаграждение неизвестны, что позволило применять алгоритмы этой категории для решения широкого круга задач[14].

В 2000-х годах Саттон вернулся в Канаду и продолжил работу над темой, которая продолжала развиваться в академических кругах, пока в одном из первых крупных реальных применений программа AlphaGo компании Google, построенная на этой концепции, не победила чемпиона-человека[13]. Барто и Саттон широко признаны пионерами современного обучения с подкреплением, а сама техника стала основой для современного бума ИИ[15].

В эссе 2019 года Саттон раскритиковал область исследований ИИ за то, что они «не смогли усвоить горький урок, что построение на том, как мы думаем, не работает в долгосрочной перспективе», утверждая, что «70 лет исследований ИИ [показали], что общие методы, использующие вычисления, в конечном итоге наиболее эффективны, и с большим отрывом», побеждая усилия, основанные на знаниях человека о конкретных областях, таких как компьютерное зрение, распознавание речи, шахматы или го[16][17].

В 2023 году Саттон и Джон Кармак объявили о партнёрстве для разработки AGI[2].

Награды

Саттон является членом Ассоциации содействия развитию искусственного интеллекта (AAAI) с 2001 года[18].

В 2003 году получил премию президента Международного общества нейронных сетей[19], а в 2013 году — премию за выдающиеся достижения в исследованиях от Массачусетского университета в Амхерсте[20].

В 2016 году Саттон был избран членом Королевского общества Канады[21]. В 2021 году был избран членом Лондонского королевского общества[22].

В 2025 году вместе с Эндрю Барто получил премию Тьюринга от Ассоциации вычислительной техники «за разработку концептуальных и алгоритмических основ обучения с подкреплением»[23][24].

Примечания

  1. 1 2 3 4 Sutton, Richard S. // Чешская национальная авторитетная база данных
  2. 1 2 John Carmack and Rich Sutton partner to accelerate development of Artificial General Intelligence (англ.). markets.businessinsider.com. Дата обращения: 2 октября 2023.
  3. ↑ Exclusive: Interview with Rich Sutton, the Father of Reinforcement Learning (11 января 2018). Дата обращения: 17 декабря 2018. Архивировано 11 января 2018 года.
  4. ↑ Rich Sutton, A.M. Turing Award Winner: Understanding Intelligence. Amii (5 марта 2025). — «So I'm 67 years old, but I want to still try to do some amazing things.» Дата обращения: 10 марта 2025.
  5. ↑ Heidrich-Meisner, Verena (2009). Interview with Richard S. Sutton (PDF). Künstliche intelligenz, Heft.
  6. 1 2 Brief Biography for Richard Sutton. incompleteideas.net. Дата обращения: 17 декабря 2018.
  7. ↑ Sutton, Richard S. Reinforcement learning: an introduction / Richard S. Sutton, Andrew Barto. — Second. — Cambridge, Massachusetts : The MIT Press, 2020. — P. 22–23. — ISBN 978-0-262-03924-6.
  8. ↑ Dr. Richard Sutton (англ.). awards.acm.org. Дата обращения: 7 марта 2025.
  9. 1 2 Piatetsky, Gregory. Exclusive: Interview with Rich Sutton, the Father of Reinforcement Learning (амер. англ.). KDnuggets (5 декабря 2017). Дата обращения: 10 февраля 2024.
  10. ↑ Brown, Michael. AI innovator Richard Sutton named to Royal Society (англ.). Alberta Machine Intelligence Institute (10 мая 2021). Дата обращения: 10 февраля 2024.
  11. ↑ DeepMind expands to Canada with new research office in Edmonton, Alberta. DeepMind. Дата обращения: 17 декабря 2018.
  12. 1 2 Edmonton AI guru Rich Sutton has lost his DeepMind but not his ambition. National Post (19 марта 2023). Дата обращения: 2 июля 2023.
  13. 1 2 Metz, Cade (2025-03-05). Turing Award Goes to 2 Pioneers of Artificial Intelligence. The New York Times (англ.). ISSN 0362-4331. Дата обращения: 2025-03-08.
  14. ↑ A.M. Turing Award. amturing.acm.org. Дата обращения: 8 марта 2025.
  15. ↑ AI pioneers Andrew Barto and Richard Sutton win 2025 Turing Award for groundbreaking contributions to reinforcement learning | NSF – National Science Foundation (англ.). www.nsf.gov (5 марта 2025). Дата обращения: 8 марта 2025.
  16. ↑ Sutton, Rich. The Bitter Lesson. www.incompleteideas.net (13 марта 2019). Дата обращения: 22 сентября 2022.
  17. ↑ Tunstall, Lewis. Natural Language Processing with Transformers : [англ.] / Lewis Tunstall, Leandro von Werra, Thomas Wolf. — "O'Reilly Media, Inc.", January 26, 2022. — ISBN 978-1-0981-0319-4.
  18. ↑ Elected AAAI Fellows. www.aaai.org. Дата обращения: 17 декабря 2018.
  19. ↑ INNS Award Recipients. www.inns.org. Дата обращения: 17 декабря 2018.
  20. ↑ Outstanding Achievement and Advocacy Award Recipients (англ.). College of Information and Computer Sciences, University of Massachusetts Amherst (5 октября 2010). Дата обращения: 17 декабря 2018.
  21. ↑ Brown, Michael. U of A Scholars Join Ranks of Royal Society. The Quad (19 сентября 2016). Дата обращения: 24 августа 2023.
  22. ↑ Royal Society elects outstanding new Fellows and Foreign Members. royalsociety.org. Дата обращения: 8 июня 2021.
  23. ↑ Cade Metz: Turing Award Goes to 2 Pioneers of Artificial Intelligence. In: NYT March 4, 2025. Retrieved March 5, 2025
  24. ↑ Turing Awardees – Directorate for Computer and Information Science and Engineering (CISE) | NSF – National Science Foundation (англ.). www.nsf.gov (5 марта 2025). Дата обращения: 8 марта 2025.
Эта статья взята у (из) Wikipedia. Текст лицензируется по Creative Commons - Attribution - Sharealike. К медиа файлам могут применятся дополнительные условия.