1. Глубокое обучение
2. 1943 - Первая математическая модель нейронной сети
3. 1950 - Прогноз машинного обучения
4. 1952 - Первые программы машинного обучения
5. 1957 - Создание основы для глубоких нейронных сетей
6. 1959 - Открытие простых клеток и сложных клеток
7. 1960 - Теория управления
8. 1965 - первые работающие сети глубокого обучения
9. 1979-80 - ANN учится распознавать визуальные паттерны
10. 1982 - создание сетей Хопфилда
11. 1985 - программа учится произносить английские слова
12. 1986 - Улучшения в распознавании форм и предсказании слов
13. 1989 - Машины читают рукописные цифры
14. 1989 - Q-learning
15. 1993 - решена задача «очень глубокого обучения»
16. 1995 - опорные векторные машины
17. 1997 - Предложена долговременная память
18. 1998 - Градиентное обучение
19. 2009 - запуск ImageNet
20. 2011 - создание AlexNet
21. 2012 - Эксперимент с кошкой
22. 2014 - DeepFace
23. 2014 - Генеративные Состязательные Сети (GAN)
24. 2016 - Мощные продукты машинного обучения
25. Веселье и игры
26. Грубый график

Первоначально Написал 5 июня 2017

В наши дни вы много слышите о машинном обучении (или ОД) и искусственном интеллекте (или ИИ) - и хорошо, и плохо, в зависимости от вашего источника.

Многие из нас сразу вызывают в воображении образы HAL 2001 года: Космическая Одиссея, Киборги-Терминаторы, C-3PO, Данные из Star Trek или Саманта от Него, когда субъект обращается к ИИ. И многие могут даже не знать машинное обучение как отдельный предмет.

Фразы часто взаимозаменяемы, но это не одно и то же. В самом общем смысле машинное обучение развилось из ИИ.

На приведенном выше графике Google Trends вы можете видеть, что ИИ был наиболее популярным поисковым термином, пока машинное обучение не прошло его в сентябре 2015 года. Машинное обучение стало одним из, если не главным, приложений искусственного интеллекта. Другие описывают машинное обучение как подполе или средство достижения ИИ.

Но если вы все еще думаете, что роботы и убийцы-киборги отправлены из будущего, вы оказываете им медвежью услугу. И ИИ, и машинное обучение имеют гораздо большее значение, чем «просто» судьба человечества.

Искусственный интеллект можно считать всеобъемлющим зонтиком. Это относится к компьютерным программам, способным «думать», вести себя и делать то, что может сделать человек. Обычно он классифицируется как общий или прикладной / узкий (специфический для отдельной области или действия).

Машинное обучение выходит за рамки этого. Он включает в себя предоставление машинам данных, которые им необходимы, чтобы «научиться» делать что-то без явного программирования для этого. Алгоритм, такой как изучение дерева решений , программирование индуктивной логики , кластеризация, обучение подкреплению , или же Байесовские сети помогает им разобраться во введенных данных.

Машинное обучение было гигантским шагом вперед для ИИ. Вперед ... но не до самого финиша.

Развитие нейронных сетей - компьютерной системы, созданной для классификации и организации данных, очень похожих на человеческий мозг, - продвинулось вперед еще дальше.

Основываясь на этой классификации и анализе, система машинного обучения может сделать обоснованное «предположение» на основе наибольшей вероятности, и многие даже могут учиться на своих ошибках, делая их «умнее» по ходу дела.

Все еще со мной? Хорошо, потому что я собираюсь представить следующую разработку под зонтиком ИИ.

Войти глубокое обучение ,

Глубокое обучение

Если машинное обучение является подполем искусственного интеллекта, то глубокое обучение можно назвать подполем машинного обучения. Эволюция предмета прошла искусственный интеллект> машинное обучение> глубокое обучение.

Выражение «глубокое обучение» впервые было использовано при разговоре о Искусственные нейронные сети (ANNs) Игорь Айзенберг и коллеги в или около 2000 года.

С тех пор термин действительно начал вступать во владение разговором об искусственном интеллекте, несмотря на то, что существуют другие отрасли изучения, такие как обработка естественного языка или НЛП.

Одним словом, глубокое обучение - это способ достижения машинного обучения. По мере того, как ANN становились все более мощными и сложными - и в буквальном смысле глубже со многими слоями и нейронами - способность к глубокому обучению для облегчения надежного машинного обучения и создания ИИ увеличилась.

Эти слои могут быть 1000 глубиной в 2017 году.

Глубокое обучение использует так называемое «контролируемое» обучение, где нейронная сеть обучается с использованием маркированных данных, или «неконтролируемое» обучение, где сеть использует немеченые данные и ищет повторяющиеся шаблоны.

Нейроны на каждом уровне делают свои «догадки» и наиболее вероятные предсказания, а затем передают эту информацию на следующий уровень вплоть до конечного результата.

Смущенный? Ты не одинок. Это сложная тема.

Упрощенная нейронная сеть Image Source: Wikipedia

Сейчас это самая захватывающая разработка в мире искусственного интеллекта. Но вместо того, чтобы пытаться уловить тонкости этой области - которые могли бы представлять собой непрерывную и обширную серию статей для себя - давайте просто взглянем на некоторые из основных событий в истории глубокого обучения (и, следовательно, машинного обучения и AI). Прошел долгий путь за сравнительно небольшое время.

1943 - Первая математическая модель нейронной сети

Уолтер Питтс и Уоррен МакКаллох

Очевидно, что для того, чтобы машина и глубокое обучение работали, нам нужно было устоявшееся понимание нейронных сетей человеческого мозга.

Уолтер Питтс, логик, и Уоррен МакКаллох, невролог, дали нам эту часть головоломки в 1943 году, когда они создали первую математическую модель нейронной сети. Опубликовано в их оригинальной работе « Логическое исчисление идей, присущих нервной деятельности », Они предложили комбинацию математики и алгоритмов, которые имитировали мыслительные процессы человека.

Их модель - обычно называется Нейроны Маккаллока-Питтса - по-прежнему является стандартом сегодня (хотя он развивался с годами).

1950 - Прогноз машинного обучения

Алан Тьюринг

Британский математик Тьюринг, пожалуй, наиболее известен своим участием в взломе кода во время Второй мировой войны.

Но его вклад в математику и науку на этом не заканчивается. В 1947 году он предсказал развитие машинного обучения, даже дойдя до того, чтобы описать влияние, которое оно может оказать на рабочие места.

В 1950 году Тьюринг предложил именно такую ​​машину, даже намекая на генетические алгоритмы, в своей статье « Вычислительная техника и интеллект В нем он разработал то, что было названо «Тестом Тьюринга» - хотя сам он назвал его «Имитационная игра» - чтобы определить, может ли компьютер «думать».

В самом простом случае тест требует, чтобы машина продолжала разговор с человеком через текст. Если через пять минут человек убедится, что разговаривает с другим человеком, говорят, что машина прошла.

Это займет 60 лет для любой машины, чтобы сделать это хотя многие до сих пор спорят о достоверности результатов.

1952 - Первые программы машинного обучения

Артур Самуэль

Вступив в Лабораторию Покипси в IBM, Артур Самуэль начал создавать первые компьютерные обучающие программы. Программы были созданы для игры в шашки. Программа Артура Самуэля была уникальной в том смысле, что каждый раз, когда играли в шашки, компьютер всегда становился лучше, исправляя свои ошибки и находя лучшие способы выиграть из этих данных. Это автоматическое обучение станет одним из первых примеров машинного обучения.

1957 - Создание основы для глубоких нейронных сетей

Фрэнк Розенблатт

Розенблатт, психолог, представил статью под названием « Перцептрон: воспринимающий и распознающий автомат Корнеллской авиационной лаборатории в 1957 году.

Он заявил, что «построит электронную или электромеханическую систему, которая научилась бы распознавать сходства или тождества между образцами оптической, электрической или тональной информации способом, который может быть очень похож на процессы восприятия биологического мозга».

Его идея была скорее аппаратной, чем программной или алгоритмической, но она заложила семена восходящего обучения и широко признана в качестве основы глубоких нейронных сетей (DNN).

1959 - Открытие простых клеток и сложных клеток

Дэвид Хьюбел и Торстен Визель

В 1959 году нейрофизиологи и нобелевские лауреаты Дэвид Хьюбел и Торстен Визель обнаружили два типа клеток в первичной зрительной коре: простые клетки и сложные клетки.

Многие искусственные нейронные сети (ИНС) так или иначе вдохновлены этими биологическими наблюдениями. Хотя это и не является вехой для глубокого обучения, оно определенно сильно повлияло на эту область.

1960 - Теория управления

Генри Дж. Келли

Келли был профессором аэрокосмической и океанической техники в Политехническом институте Вирджинии.

В 1960 году он опубликовал « Градиентная теория оптимальных траекторий полета »Сама по себе крупная и широко признанная статья в своей области. Многие из его идей о теории управления - о поведении систем с входными данными и о том, как это поведение изменяется с помощью обратной связи - на протяжении многих лет применялись непосредственно к ИИ и ИНС.

Они были использованы для разработки основ непрерывного обратное распространение Модель (она же обратное распространение ошибок) используется в обучении нейронных сетей.

1965 - первые работающие сети глубокого обучения

Алексей Ивахненко и В.Г. Лапа

Математик Ивахненко и его коллеги, в том числе Лапа, возможно, создали первые рабочие сети глубокого обучения в 1965 году, применив на тот момент только теории и идеи.

Ивахненко разработал Групповой метод обработки данных (GMDH) - определено как «семейство индуктивных алгоритмов для компьютерного математического моделирования многопараметрических наборов данных, в котором реализована полностью автоматическая структурная и параметрическая оптимизация моделей» - и применено к нейронным сетям.

Только по этой причине многие считают Ивахненко отцом современного глубокого обучения.

В его алгоритмах обучения использовались многослойные персептроны с прямой связью, использующие статистические методы на каждом слое, чтобы найти лучшие функции и передать их через систему.

Используя GMDH, Ивахненко смог создать 8-слойную глубокую сеть в 1971 году, и он успешно продемонстрировал процесс обучения в компьютерной системе идентификации под названием Alpha.

1979-80 - ANN учится распознавать визуальные паттерны

Кунихико Фукусима

Признанный новатор в области нейронных сетей, Фукусима, пожалуй, самый известный за создание Неокогнитрон искусственная нейронная сеть, которая научилась распознавать визуальные паттерны. Он использовался для написания рукописных символов и других задач распознавания образов, систем рекомендаций и даже обработки естественного языка.

Его работа, на которую сильно повлияли Хьюбел и Визель, привела к созданию первого сверточные нейронные сети , которые основаны на зрительной организации коры у животных. Они представляют собой разновидности многослойных персептронов, разработанных для использования минимальных объемов предварительной обработки.

1982 - создание сетей Хопфилда

Джон Хопфилд

В 1982 году Хопфилд создал и популяризировал систему, которая теперь носит его имя.

Хопфилд Сети площадь рецидивирующая нейронная сеть которые служат системой адресно-ориентированной памяти и остаются популярным инструментом для глубокого обучения в 21 веке.

Хопфилд Сеть Изображение источника: Викимедиа

1985 - программа учится произносить английские слова

Терри Сейновски

Вычислительный нейробиолог Терри Сейновски использовал свое понимание процесса обучения, чтобы создать NetTalk в 1985 году.

Программа научилась произносить английские слова почти так же, как это делает ребенок, и с течением времени могла улучшать свои навыки при преобразовании текста в речь.

1986 - Улучшения в распознавании форм и предсказании слов

Дэвид Румелхарт, Джеффри Хинтон и Рональд Дж. Уильямс

В работе 1986 года, озаглавленной «Изучение представлений путем обратного распространения ошибок», Румелхарт, Хинтон и Уильямс более подробно описали процесс обратного распространения.

Они показали, как это может значительно улучшить существующие нейронные сети для многих задач, таких как распознавание фигур, предсказание слов и многое другое.

Несмотря на некоторые неудачи после этого первоначального успеха, Хинтон продолжал свои исследования во время Второй AI Winter достигать новые уровни успеха и признания , Многие считают его крестным отцом глубокого обучения.

1989 - Машины читают рукописные цифры

Ян ЛеКун

LeCun - другая рок-звезда во вселенной AI и DL - объединила сверточные нейронные сети (которые он сыграл важную роль в разработке) с недавними теориями обратного распространения, чтобы читать рукописные цифры в 1989 году.

Его система в конечном итоге использовалась для чтения рукописных чеков и почтовых индексов NCR и другими компаниями, обрабатывая где-то 10-20% обналиченных чеков в Соединенных Штатах в конце 90-х и начале 2000-х годов.

1989 - Q-learning

Кристофер Уоткинс

Уоткинс опубликовал свою кандидатскую диссертацию - « Учиться на задержке вознаграждений »- в 1989 году. В нем он ввел понятие Q-обучения , что значительно повышает практичность и осуществимость обучение подкреплению в машинах.

Этот новый алгоритм предполагал, что можно было изучить оптимальное управление напрямую, не моделируя вероятности перехода или ожидаемые выгоды от Марковский процесс принятия решений ,

1993 - решена задача «очень глубокого обучения»

Юрген Шмидхубер

Немецкий ученый Шмидхубер в 1993 году решил задачу «очень глубокого обучения», которая потребовала более 1000 слоев в рекуррентной нейронной сети.

Это был огромный скачок вперед в сложности и возможностях нейронных сетей.

1995 - опорные векторные машины

Коринна Кортес и Владимир Вапник

Опорные векторные машины - или SVMs - были примерно с 1960-х годов, доработаны и усовершенствованы многими в течение десятилетий.

Текущая стандартная модель была разработана Кортесом и Вапником в 1993 году и представлена ​​в 1995 году.

SVM - это, в основном, система для распознавания и сопоставления похожих данных, и может использоваться в категоризации текста, распознавании рукописных символов и классификации изображений в том, что касается машинного обучения и глубокого обучения.

1997 - Предложена долговременная память

Юрген Шмидхубер и Зепп Хохрейтер

Рекуррентная структура нейронной сети, долговременная кратковременная память (LSTM) был предложен Шмидхубером и Хохрейтером в 1997 году.

Они улучшают как эффективность, так и практичность повторяющихся нейронных сетей, устраняя проблему долгосрочной зависимости (когда необходимая информация располагается слишком далеко «назад» в RNN и «теряется»). Сети LSTM могут «запоминать» эту информацию на более длительный период времени.

Со временем сети LSTM были усовершенствованы в кругах DL, и Google недавно внедрила их в свое программное обеспечение для распознавания речи для смартфонов на платформе Android.

1998 - Градиентное обучение

Ян ЛеКун

LeCun способствовал еще одному прогрессу в области глубокого обучения, когда он опубликовал свою « Градиентное обучение для распознавания документов Бумага в 1998 году.

Стохастический градиентный спуск Алгоритм (так называемое градиентное обучение) в сочетании с обратное распространение Алгоритм является предпочтительным и все более успешным подходом к глубокому обучению.

2009 - запуск ImageNet

Фэй-Фэй Ли

Фей-Фей Ли, профессор и руководитель лаборатории искусственного интеллекта в Стэнфордском университете, запустил ImageNet в 2009 году.

По состоянию на 2017 год это очень большая и бесплатная база данных с более чем 14 миллионами (по последним подсчетам, 14 197 122) изображений, доступных для исследователей, преподавателей и студентов.

Помеченные данные, такие как эти изображения, необходимы для «обучения» нейронных сетей при контролируемом обучении.

Изображения помечены и организованы в соответствии с Wordnet лексическая база данных английских слов - существительных, глаголов, наречий и прилагательных, отсортированных по группам синонимов, называемых синсетами.

2011 - создание AlexNet

Алекс Крижевский

В период с 2011 по 2012 год Алексей Крижевский выиграл несколько международных конкурсов по машинному и глубокому обучению, создав свою уникальную нейронную сеть AlexNet.

AlexNet построен и улучшен по сравнению с LeNet5 (созданным Yann LeCun несколькими годами ранее). Первоначально он содержал только восемь слоев - пять сверточных, за которыми следуют три полностью связанных слоя - и усиливал скорость и выпадение с использованием выпрямленных линейных единиц.

Его успех положил начало витковому ренессансу нейронных сетей в сообществе глубокого обучения.

2012 - Эксперимент с кошкой

Это может звучать мило и незначительно, но так называемый « Cat Experiment Был большой шаг вперед.

Используя нейронную сеть, распределенную по тысячам компьютеров, команда представила в систему 10 000 000 немеченых изображений - произвольно взятых с YouTube - и позволила ей проводить анализ данных.

Когда этот сеанс обучения без присмотра был завершен, программа научилась распознавать и распознавать кошек, выполняя почти на 70% больше, чем предыдущие попытки обучения без присмотра .

Это не было идеально, хотя. В сети распознается только около 15% представленных объектов. Тем не менее, это был еще один шаг ребенка к подлинному ИИ.

2014 - DeepFace

Платформы монстров часто являются первыми, кто думает нестандартно, и ни одна из них не больше, чем Facebook

Разработанная и выпущенная в свет в 2014 году, система глубокого обучения в социальных сетях, получившая прозвище DeepFace, использует нейронные сети для идентификации лиц с точностью 97,35%. Это улучшение на 27% по сравнению с предыдущими усилиями, и показатель, который конкурирует с человеческим (что является сообщается, что 97,5% ).

Google Photos использует аналогичную программу.

2014 - Генеративные Состязательные Сети (GAN)

Представленный в 2014 году группой исследователей во главе с Яном Гудфеллоу, авторитет не менее, чем сам Янн ЛеКан, сказал следующее о GAN:

Они вроде большого дела.

Генеративные состязательные сети позволяют моделям заниматься обучением без учителя, что является более или менее конечной целью в сообществе искусственного интеллекта.

По сути, GAN использует две конкурирующие сети: первая получает данные и пытается создать неразличимые выборки, а вторая получает как данные, так и созданные выборки, и должна определить, является ли каждая точка данных подлинной или созданной.

Обучаясь одновременно, сети конкурируют друг с другом и подталкивают друг друга, чтобы стать «умнее» быстрее.

2016 - Мощные продукты машинного обучения

Cray Inc ., как и многие другие подобные компании, теперь могут предлагать мощные машины и продукты и решения для глубокого обучения.

Используя программное обеспечение нейронной сети Microsoft на своих суперкомпьютерах XC50 с 1000 графическими процессорами Nvidia Tesla P100, они могут выполнять задачи глубокого обучения данных за долю времени, которое они раньше занимали - часы вместо дней.

Хотите попробовать машинное обучение для себя? Получите бесплатный доступ к мощному инструменту Import.io здесь.

Живем ли мы в глубоком возрасте обучения? Это, безусловно, будет выглядеть так.

Веселье и игры

Возможно, это не спасет мир, но любая история машин и глубокого обучения была бы упущением, если бы в ней не упоминались некоторые ключевые достижения за последние годы, связанные с играми и соревнованиями с людьми:

• 1992: Gerald Tesauro разрабатывает компьютерную программу TD-Gammon, в которой для обучения игре в нарды используется искусственная нейронная сеть.
• 1997: Темно-синий - разработан IBM, - победил шахматный гроссмейстер Гарри Каспаров в серии из шести игр.
• 2011: Уотсон - система ответов на вопросы, разработанная IBM - соревновалась на Jeopardy! против Кена Дженнингса и Брэда Раттера. Используя комбинацию машинного обучения, обработки естественного языка и методов поиска информации, Уотсон смог выиграть соревнование в течение трех матчей.
• 2016: программа Google AlphaGo обыграла Ли Седола из Кореи, крупнейшего международного игрока в го. Разработан DeepMind AlphaGo использует методы машинного обучения и поиска по дереву. В мае 2017 года запланировано столкновение с игроком, занявшим первое место в рейтинге Ке Цзе из Китая.

Грубый график

За последние 60 лет было много разработок и достижений в области ИИ, МЛ и ДЛ. Чтобы обсудить каждый из них, нужно заполнить книгу, не говоря уже о записи в блоге.

Чтобы свести это к грубому графику, глубокое обучение может выглядеть примерно так:

• 1960-е годы: неглубокие нейронные сети
• 1960-70-е годы: появляется обратное распространение
• 1974-80: первый AI Winter
• 1980-е годы: появляется свертка
• 1987-93: вторая зима А.И.
• 1990-е годы: глубокое обучение без присмотра
• 1990-е-2000-е годы: контролируемое глубокое обучение в моде
• 2006-настоящее время: современное глубокое обучение

Сегодня глубокие знания присутствуют в нашей жизни такими способами, о которых мы можем даже не задумываться: распознавание голоса и изображений Google, подсистемы рекомендаций Netflix и Amazon, Apple Siri, автоматическая электронная почта и текстовые ответы, чат-боты и многое другое. С данными вокруг нас есть больше информации для этих программ для анализа и улучшения.

Это все вокруг тебя. Где дальше будет углубленное изучение? Куда это нас приведет? Сложно сказать. Эта область продолжает развиваться, и следующий крупный прорыв может быть не за горами, а не годами. Не существует установленного графика для чего-то такого сложного.

Одно можно сказать наверняка. Это очень захватывающее время, чтобы быть живым ... свидетелем смешения истинного интеллекта и машин. Будущее здесь во многих отношениях.

Похожие

Комментарии