Нейросети | Искусственный интеллект | AI - [1] :: Программы

"Нейронная сеть [1] (также искусственная нейронная сеть, ИНС) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Первой такой попыткой были нейронные сети У. Маккалока и У. Питтса[2]. После разработки алгоритмов обучения получаемые модели стали использовать в практических целях: в задачах прогнозирования, для распознавания образов, в задачах управления и др.
ИНС представляет собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты (особенно в сравнении с процессорами, используемыми в персональных компьютерах). Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И, тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи.
- С точки зрения машинного обучения, нейронная сеть представляет собой частный случай методов распознавания образов, дискриминантного анализа;
- С точки зрения математики, обучение нейронных сетей — это многопараметрическая задача нелинейной оптимизации;
- С точки зрения кибернетики, нейронная сеть используется в задачах адаптивного управления и как алгоритмы для робототехники;
- С точки зрения развития вычислительной техники и программирования, нейронная сеть — способ решения проблемы эффективного параллелизма[3];
- С точки зрения искусственного интеллекта, ИНС является основой философского течения коннекционизма и основным направлением в структурном подходе по изучению возможности построения (моделирования) естественного интеллекта с помощью компьютерных алгоритмов.
Нейронные сети не программируются в привычном смысле этого слова, они обучаются[a]. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумленных», частично искажённых данных.": вики

Т.к. на данный момент (август 2023) нет одной приоритетной нейронной сети (далее у нас: "нс"), "победившей мир", то предлагаю не ограничиваться обсуждением какой-то одной, но т.к. исторически ChatGPT была первой, "пошедшей в массы", то предполагаю что добрая половина обсуждения будет крутиться около неё, её форков, клонов и плагинов, расширяющих функционал. Ну а там, кто знает, какая в итоге нс "захватит планету", самой массовой предполагаю станет самая удобная (та, правильный prompt к которой сможет составить любая домохозяйка), а не самая точная, как это часто бывает.

Итак, предлагаю в этой ветке обсуждать сугубо практическое применение нс в формате:
1) Краткое описание нс (разрабы, истоки, заявленный функционал), подключённые для Вашей задачи плагины.
2) Ваша задача человеческим языком.
3) Процесс постановки задачи нс (формулирование однозначно понятого ею prompt).
4) Процесс её обучения в решении Вашей задачи (на основании обратной связи от Вас: корректировка её ответов, корректировка сферы поиска, смена подключённых плагинов, корректировка исходной задачи если её выполнение в исходном виде её затруднено и т.д.)
5) Результат: насколько Вы удовлетворены результатом, насколько он точен (конечно если есть возможность это оценить), что можно было бы сделать оптимальнее в следующей раз при решении этой/другой нс подобной задачи.

PS: Бегло пробежался по форуму: была похожая тема тема [?] в 2001, но там за 22 года всего 4 сообщения, на тот момент видимо ещё всё таки не пришло время для широкого внедрения / массовости этого явления, посмотрим как оно выйдет сейчас.

konster
Как работает гугл переводчик? Система не запоминает сотни вариантов перевода фраз — она оперирует семантикой текста. При переводе предложение разбивается на словарные сегменты. Затем с помощью специальных декодеров система определяет «вес» каждого сегмента в тексте. Далее вычисляется максимально вероятные значения и перевод сегментов.

то есть он читает текст и из контекста понимает смысл (для этого есть обучающие выборки на каждом языке). Затем, этот смысл он может выразить на любом языке, на котором его обучали. Значит, если были выборки на языках суахили, эстонский, английский, то он сможет выразить смысл на любом из этих языков, а значит, поддержит все 6 пар. На деле все сложнее конечно, и обучающие выборки не равноценны.

Понятно, что людям удобнее всего английский, огромное количество материалов на английском, - поэтому основной язык ИИ - английский. Например, система может при необходимости делать запросы в поисковую часть (гуглить), она будет это делать на английском, теперь английский универсальный язык общения не только для людей, но и для систем ИИ.

Я думаю, для ИИ все языки как один большой язык, с большим числом "синонимов" - параллелей из разных языков. У людей есть регистры - формальный, неформальный и т.п. Можно смешивать в одном тексте бизнес-лексику и подростковый сленг, а можно контролировать речь и не смешивать.

Вот пример ответа Gemini

Код:

В разговорной речи: "донье" встречается чаще, но его употребление не является normativным.
В formalных текстах: рекомендуется использовать "дно".

он придумал слова normativный, formalный
Вряд ли они были в обучающей выборке или в словаре. Умудрился смешать два языка в одном слове. Вообще на русском он часто придумывает слова, которых нет в русском, но смысл более-менее понятен.

Еще аргумент в пользу моей гипотезы о том что ИИ не переводит и не думает на английском - это то что он не может точно сказать сколько слов в предложении. Скормите ему некий текст и спросите сколько слов в каждом предложении - будете удивлены. А ведь простая механическая задача.

Вот сервис токенизации https://platform.openai.com/tokenizer

Для первого абзаца этого сообщения картина такая:

Слово текст - один токен (видимо, потому что высокочастотное слово). Слово работает состоит из двух токенов - работ и ает (высокочастотное окончание). Слово семантикой - 6 токенов.

как они там пишут, один токен обычно соответствует примерно 4 символам текста обычного английского текста. Это соответствует примерно 0.75 слова (то есть 100 токенов ~= 75 слов). По техническим причинам в русском языке этот коэффициент ниже.

Удивляет другое. Системы ИИ создавались не для перевода. Способность переводить получилась как побочный эффект. Цитата из одной статьи: GPT-3 с легкостью кладет на лопатки многие специализированные модели, которые существовали до нее: так, перевод текстов с французского или немецкого на английский сразу начал даваться GPT-3 легче и лучше, чем любым другим специально заточенным под это нейросетям. Как?! Напоминаю, что речь идет про лингвистическую модель, чье предназначение вообще-то заключалось ровно в одном — пытаться угадать одно следующее слово к заданному тексту (T9)

Добавлю познавательную анимацию - как с увеличением количества параметров модели в ней «прорастают» новые способности, которые никто туда специально не закладывал:

Цитата:

на выходе же мы получаем тексты с соблюдением грамматики, пунктуации и пр.

да, потому что ИИ «выучил» корень слова и разные суффиксы/окончания в качестве отдельных токенов, которые позволяют делать из него все нужные формы

Пример. Дана последовательность 1 2 3 4 5 6 7 8 9 10 (это контекст). Люди учатся считать в детском саду, нейросеть нужно тоже обучить, просто сообщив ей, что бывают такие последовательности символов, она запомнит взаимосвязи между ними в своей базе данных. При этом она не понимает, что это числа, что существуют действия над ними и т.д.

Задача: продолжить ряд 1, 3, 5, 7. (это промпт) Нейросеть выявит закономерность: нужно пропустить один токен после 7 и выдать следующий токен 9. Научить компьютер выявлять закономерности сложная задача, на решение которой у людей ушли десятилетия.

Что сделает переводчик старого типа с элементами ИИ? он знает что 1 по-английски one, по-русски один, знает все формы этих слов и т.п. Научить компьютер разбирать грамматику и морфологию текста не так сложно. Только это не поможет определить следующий член последовательности.

А теперь представьте, что в комп загрузили википедию и корпуса текстов на многих языках, содержание всех популярных интернет форумов, а также содержание всех статей, ссылки на которые встретились на этих форумах (это значит, что люди сочли эти статьи полезными, и что эти статьи имеют отношение к заданному вопросу на форуме). Это обучающая выборка. Комп выявил все взаимосвязи между встреченными символами и запомнил. Получилась база данных объемом больше чем обучающая выборка - порядка 700 гигабайт (это очень-очень много). Это контекст. Теперь комп может продолжить любую последовательность символов, которую вы предложите в качестве промпта. Даже на древних языках, которые еще не расшифрованы. Далее можно дрессировать сеть, наказывая за неправильные ответы. Эту информацию он тоже запомнит и учтет в будущем. Вот и все - ИИ просто говорит то, что человек хочет услышать. Для этого не нужно понимать значение слов, переводить с одного языка на другой, уметь перемножать числа и т.д. Поэтому он часто врет - под осинкой трудно найти апельсинки.

Модерирует : gyra, Maz
Версия для печати • Подписаться • Добавить в закладки
Страницы: 1 2 3 4 5 6