Zveri2В каких еще "тех условиях" - автомобиль сам едет по трассе? Фу ты, ну ты, какое достижение! Но это не превращает его из автопилота 1-го уровня в автопилот 5-го, понимаете? Так что ничего разумного в поведении того водителя не было.Ничего подобного - об этом Тесла предупреждала всех водителей. Поэтому и не понесла никакой ответственности.Без руля? Да ради бога - принципиально лишь то, какой уровень у автопилота. Еще раз повторяю, что 5-й снимает с пассажира всякую ответственность, а 4-й снимает её даже с водителя. Поэтому ДТП таких автомобилей совсем не то, что ДТП где водитель Теслы вопреки инструкции отвлекся от дороги. Это совсем не юридический вопрос - он касается поведения водителя. Должен ли он держать руль на руке и следить за дорогой - и тогда в аварии, даже в случае ошибки автопилота, виноват будет он сам, или он может полностью расслабиться - и тогда виноват автопилот - со всем вытекающим к нему негативным отношением.Вот это разбирательство и было обсуждением терминологии, которую я употребил.Однако интересная у вас трактовка нашего многостраничного обсуждения одной моей фразы. Вот начало переписки:
xeonz привел пример: первого робота просили насыпать безопасную дозу снотворного в воду, потом второго, потом третьего (в результате в воде уже небезопасная доза), потом четвертого просят отнести воду человеку, который просит пить. Человек умирает не смотря на наличие у роботов запрета на причинение вреда человеку

Артура: если осведомленность ИИ (релевантная его назначению) не полнее, чем у человека, то в таком ИИ просто нет смысла.

Zveri2: Без разницы, какая там осведомленность у ИИ. Главное, чтобы пиво из холодильника приносил. Знает ли он при этом больше человека о количестве плиток паркета на сложном пути холодильник-жаждущая рука, значения не имеет

Артура: При чем здесь пиво и тем более паркет я не понял - пиво принести сможет даже современный робот (или скоро сможет), а паркет для этого избыточная информация. Но когда ИИ занимается, к примеру, вашим лечением, он должен владеть полной информацией - например в виде истории вашей болезни. Это я сказал к конкретному вопросу о невольной опасности ИИ, который не владеет полной информацией - считаю эту угрозу надуманной, поскольку как раз относительная полнота информации и должна отличать качественную реализацию ИИ

ЧТО ТУТ МУСОЛИТЬ ШЕСТУЮ СТРАНИЦУ? И какие же жизненные обстоятельства у ИИ? Самообучение ИИ выражается в извлечении правил из того опыта, на котором его обучают (полицейский перевел маленького через дорогу, но убил его когда тот стал в него стрелять), а не изменении этих правил ради какой-то собственной, неведомой нам, цели.По этой логике интеллект, достаточный для бесконфликтного сосуществования с обществом, есть и у пепельницы.Есть - ну и?

Добавление от 14.10.2017 20:09:

foma007Что-то конкретное предлагаете?

Исправлено: Артура, 14.10.2017 20:21

Артура
Что-то конкретное предлагаете?

Относиться к тем, кто приближает этот самый сильный ИИ без адекватной оценки ситуации как к автопилоту, который не заметил белой фуры на фоне неба?

foma007"Относиться" на предложение не тянет. Ну начнем мы все форумом дружно относиться к ИИ с опаской и недоверием - что это изменит? Во-первых отношение и конкретные меры - разные вещи. Во-вторых даже конкретные меры может предпринять одно государство - и кануть в историю по причине своей безнадежной технологической отсталости. В-третьих нынешний слабый ИИ чрезвычайно примитивен, до уровня сильного ему расти еще как минимум десятки лет. Т.е. нам даже бояться еще очень рано.

Артура
бояться еще очень рано

А потом может быть поздно, останется только тупо наращивать хардварную мощь, ЭТОМУ то уж точно не помешать, и тут эти самые слабые ИИ помогут.

Артура
В каких еще "тех условиях" - автомобиль сам едет по трассе? Фу ты, ну ты, какое достижение! Но это не превращает его из автопилота 1-го уровня в автопилот 5-го, понимаете? Так что ничего разумного в поведении того водителя не было.

Это деление относится к охвату обслуживаемых автопилотом ситуаций, а не к ошибкам в ПО. Автопилот 5-го уровня, это тот, который может проехать дистанцию самостоятельно от начала и до конца. При этом он все равно будет автопилотом 5-го уровня, независимо от каких-то там инструкций или от того, готов ли водитель перехватить управление и есть ли вообще органы ручного управления.
Автопилоты 1-го и остальных уровней, если могут в каких-то условиях вести и ведут машину самостоятельно, для этих условий являются автопилотом высшего уровня, поскольку, выше уже просто не надо. Так автопилот 1-го уровня и 5-го уровня на каком-то участке трассы могут работать совершенно одинаково.

И если бы не эта ошибка в автопилоте, которая могла быть как в автопилоте 1-го уровня, так и в автопилоте 5-го уровня, Тесла бы проехала этот участок пути самостоятельно и без происшествий. А с другой стороны, если бы там был автопилот 5-го уровня и в нем сидела такая ошибка, то пострадавшему не помогло бы любое нотариально заверенное разрешение смотреть кино, когда машину ведет автопилот.


Ничего подобного - об этом Тесла предупреждала всех водителей. Поэтому и не понесла никакой ответственности.

Я не о том. Не было бы ошибки в автопилоте, и этого конкретного несчастного случая бы не было. Соответственно, о нем и не говорили бы. Парень остался бы в веках как мало-мальски разумный.


Без руля?

Конкретных фактов из статьи вы так и не привели.


Еще раз повторяю, что 5-й снимает с пассажира всякую ответственность, а 4-й снимает её даже с водителя.

Это от законодательства зависит, а не от уровня автопилота. Например, если решат, что в любой момент времени, когда машину ведет автоматика, ответственность на ней, так и будет.
Все эти перехваты управления водителем некоторый самообман и снятие юридической ответственности с продавшего автопилот, т.к. аварийные ситуации частенько внезапны и водитель может не успеть ничего сделать или даже еще ухудшить.


Это совсем не юридический вопрос - он касается поведения водителя.

Поведение водителя было как раз нормальным. Ему подсунули автопилот, который может вести в каких-то условиях самостоятельно. Он долго проверял так ли это, держа руки на руле. Оказалось, что так. Держать руки на руле перестал. Потом, из-за непредвиденной никем ситуации, т.е. ошибки в автопилоте, оказалось, что бывают и такие ошибки.
Если автопилот видит препятствие, то все нормально, если не видит, то никакой уровень ему не поможет.


Это совсем не юридический вопрос - он касается поведения водителя. Должен ли он держать руль на руке и следить за дорогой - и тогда в аварии, даже в случае ошибки автопилота, виноват будет он сам, или он может полностью расслабиться - и тогда виноват автопилот - со всем вытекающим к нему негативным отношением.

Вот 2 ситуации:
Ситуация 1. Водитель держит руки на руле и следит за дорогой, как будто сам ведет и в аварии, даже если ведет автопилот, он будет виноват сам - автопилот дерьмо.
Ситуация 2. Водитель не держит руки на руле и не следит за дорогой, автопилот попадает в аварию из-за ошибки в алгоритме - дерьмо автопилот.
В обоих случаях, в отношении к автопилоту чем-то таким да пахнет.


Вот это разбирательство и было обсуждением терминологии, которую я употребил.

Ну, так вы первый и сказали, что я ей не следую, т.е. обсуждение терминологии инициализировано вами.


ЧТО ТУТ МУСОЛИТЬ ШЕСТУЮ СТРАНИЦУ?

Забавный вы. Насколько я понимаю, за эти 6 страниц количество сообщений на эту тему, что у вас, что у меня примерно одинаковое.
Вы что, действительно не видите, что ваше высказывание, цитата: "если осведомленность ИИ (релевантная его назначению) не полнее, чем у человека, то в таком ИИ просто нет смысла", это самостоятельная и законченная мысль? В которой сравниваются осведомленности человека и ИИ, и делается некий нелепый вывод. При этом информация о том, что ИИ может быть опасен или, что вы там считаете надуманным, несущественна.


И какие же жизненные обстоятельства у ИИ?

ИИ-шные. Он не в сферическом вакууме интеллектуалит.

Добавление от 14.10.2017 22:36:

Самообучение ИИ выражается в извлечении правил из того опыта, на котором его обучают (полицейский перевел маленького через дорогу, но убил его когда тот стал в него стрелять), а не изменении этих правил ради какой-то собственной, неведомой нам, цели.

Добавление от 14.10.2017 22:43:

Правила изменяются по мере обучения. Причем тут вообще какая-то неведомая цель? Правила изменяются не из-за неведомой цели, а из-за обучения.

Добавление от 14.10.2017 22:53:

По этой логике интеллект, достаточный для бесконфликтного сосуществования с обществом, есть и у пепельницы.

Ну. Пример отличной социализации при низком интеллекте. Как бы говорящее, что Эйнштейн нарушал этику значительно меньше гопника, не потому, что есть железное правило - выше интеллект - выше этичность.


Есть - ну и?

И там тоже нет правила - выше интеллект - выше этичность.

Zveri2Не важно как могут работать автопилоты 1-го и 5-го уровня и какие у них возникают ошибки - важно только может ли водитель на них полагаться.Это и так понятно - вопрос в том, кто виноват в трагедии: разработчики автопилота или водитель.Это я у вас спрашиваю конкретный факт: Google тестировала на дорогах общего пользования беспилотный автомобиль БЕЗ РУЛЯ?Это не законодателям решать, а разработчикам автопилота, которые присвоив ему определенный уровень, задают для водителя соответствующий уровень ответственности - должен ли он следить за дорогой и/или держать руки на руле пока работает автопилот, или не должен. Если какой-то идиот-законодатель за разработчика решит, что дескать пока автопилот 1-го уровня ведет автомобиль, он принимает на себя ответственность, то разработчик просто не выпустит автопилот на рынок. Или как минимум напишет в инструкции, что хотя идиот-законодатель в одностороннем порядке и возложил ответственность на автопилот, его разработчик предупреждает, что если водитель не хочет попасть в ДТП, то должен обязательно держать руки на руле и следить за дорогой. Собственно они и так это пишут - просто им нет нужды делать оговорок насчет идиотов-законодателей.Еще раз, в тридесятый - ИНСТРУКЦИЯ ТЕСЛЫ ЗАПРЕЩАЛА ОТПУСКАТЬ РУЛЬ. Именно потому запрещала, что в автомобиле установлен автопилот - без автопилота нечего было бы и предупреждать. А запрещала потому, что это автопилот 1-го уровня, который, как бы прекрасно ни вел в данный момент автомобиль, мог допустить ошибку.Поможет - автопилот 5-го уровня гарантирует, что он будет видеть все препятствия и поэтому на него можно положиться. Это не значит, что ошибок и смертельных ДТП не будет вообще - но раз разработчик автопилота дает такую гарантию и принимает на себя всю ответственность, то их вероятность очень мала и это чрезвычайная ситуация. В отличие от 1-го уровня, где автопроизводитель вообще никакой гарантии не дает: что-то мой автопилот умеет, но без всякой гарантии - ПОЭТОМУ держи руки на руле ПОСТОЯННО.Я не знаю что чем пахнет, только описанный вами автопилот - 1-го уровня. Но можете называть его дерьмом, если нравится - патамушта автопилоты 5-го уровня растут на деревьях.Ничего подобного - я сказал, что ваш пример "о количестве плиток паркета на сложном пути холодильник-жаждущая рука" не имеет никакого отношения к ситуации, когда неполная информация (сколько доз снотворного принял человек) приводит к трагедии.Потому что вы ко мне цепляетесь с какими-то претензиями, а я вам на них отвечаю.Я уже понял, что вы его считаете нелепым - но я его таковым не считаете. Что еще вы от меня хотите? Несущественна информация в вашем примере про пиво с плитками - а информация в примере xeonz про дозы снотворного еще как существенна.Что КОНКРЕТНО представляют собой ИИ-шные жизненные обстоятельства?Да - из-за обучения человеком. Который дает полицейскому новый образец поведения - в вашем примере это полицейский, который стреляет в маленького, который открыл по нему стрельбу. Если это поведение полицейского его коллегами (законом, службой внутренней безопасности и т.д.) признано правомерным, то ИИ "скармливают" этот опыт - В РЕЗУЛЬТАТЕ ЧЕГО он тоже потом будет стрелять в маленьких на поражение в аналогичной ситуации. Если ИИ этот опыт НЕ "скармливают", то он по-прежнему будет покорно сносить любые безобразия маленьких правонарушителей.

Добавление от 15.10.2017 00:04:

Zveri2Нет, это пример абсурдности вашего тезиса, что "причина неэтичного поведения человека в его интеллекте". Как и тот факт, что интеллектуал Эйнштейн был этичнее гопника.И не должно быть - если я опровергаю ваше правило "причина неэтичного поведения человека в его интеллекте" или правило Vogt "чем целеустремлённей и интеллектуальней человек, тем больше он кладёт на этику", то это не значит, что я утверждаю обратное правило.

Артура
Не важно как могут работать автопилоты 1-го и 5-го уровня и какие у них возникают ошибки - важно только может ли водитель на них полагаться.

Я о том и говорю, что в условиях, в которых с вождением справляется автопилот 1-го уровня, водитель может на него полагаться точно так же, как может полагаться на автопилот 5-го уровня в условиях, с вождением в которых справляется автопилот 5-го уровня.


Это и так понятно - вопрос в том, кто виноват в трагедии: разработчики автопилота или водитель.

В данном случае, тот, кто управлял в тот момент машиной. Если управлял автопилот, то он виноват. А вот виноваты ли разработчики в том, что не могли все предусмотреть, то это врядли. В общем, несчастный случай произошел.


Это я у вас спрашиваю конкретный факт: Google тестировала на дорогах общего пользования беспилотный автомобиль БЕЗ РУЛЯ?

Я не следил за судьбой безрульных машин от Google, но полагал, что их уже испытывали на дорогах общего пользования в Калифорнии, потому, что, например, здесь говорится про 2015 год: https://www.youtube.com/watch?v=J_BTEQBFp-4.
А тут сказано, что 33 машины разработки Google (это те пузырьки) уже ездят по дорогам общего пользования: https://nplus1.ru/news/2016/03/01/first-time

Но если их так и не выпустили на дороги общего пользования, то тем хуже для концепции безрульных машин. Я же сразу сказал, цитата: "Между мнением кого-то, что "не нужен" и фактом "там даже руля нет" есть значительная разница.". А вы там что-то говорили про будущий автопром, который все уже решил.

Вопрос с машинами Google пока закрыт: https://www.digitaltrends.com/cars/alphabet-shelves-google-self-driving-car-waymo/, но, в любом случае, Google продвинулась по по пути безрульности дальше всех.

Так на какие факты мне обратить внимание в этой статье: https://en.wikipedia.org/wiki/History_of_autonomous_cars?


Это не законодателям решать, а разработчикам автопилота

Пока разработчики автопилота не свергли законодателей, решают законодатели.


Если какой-то идиот-законодатель за разработчика решит, что дескать пока автопилот 1-го уровня ведет автомобиль, он принимает на себя ответственность, то разработчик просто не выпустит автопилот на рынок.

Так и есть, не надо выводить на рынок автопилот, в безопасности которого не уверен. Но все равно решают законодатели и как им захочется, так и будет, невзирая на то, что разработчики автопилотов такие умные и умеют писать инструкции.


А запрещала потому, что это автопилот 1-го уровня, который, как бы прекрасно ни вел в данный момент автомобиль, мог допустить ошибку.

Так автопилот 5-го уровня тоже может допустить ошибку, как бы он прекрасно не вел в данный момент автомобиль. Если такая строгая инструкция именно из-за возможности допустить ошибку, то человек и с автопилотом пятого уровня не должен отпускать руль, который обязательно должен быть.


автопилот 5-го уровня гарантирует

Хе, хе.


Ничего подобного - я сказал, что ваш пример "о количестве плиток паркета на сложном пути холодильник-жаждущая рука" не имеет никакого отношения к ситуации, когда неполная информация (сколько доз снотворного принял человек) приводит к трагедии.

Да я и не говорил, что мой пример имеет отношение к ситуации со снотворным. Я этот пример привел в связи с вашим утверждением о смысле.


Потому что вы ко мне цепляетесь с какими-то претензиями, а я вам на них отвечаю.

Я вам отвечаю потому, что вы ко мне цепляетесь с какими-то претензиями... Ну, мы выяснили почему 6 страниц.


Что КОНКРЕТНО представляют собой ИИ-шные жизненные обстоятельства?

Все, что на него влияет. Входные данные, например.


Да - из-за обучения человеком. Который дает полицейскому новый образец поведения

Вы описываете интеллект, который может самообучаться только при скармливании ему информации человеком. Причем в явном виде, например, инструкцией или приказом "делай как я". Для робота-полицейского или для автопилота может сойдет, но не для общего случая.
Интеллект, который самообучается получая данные из происходящего вокруг него, может самостоятельно приходить к тем выводам, которые у него получатся.


Если ИИ этот опыт НЕ "скармливают", то он по-прежнему будет покорно сносить любые безобразия маленьких правонарушителей.

Если ему введут более приоритетное правило не стрелять в маленьких правонарушителей, то и не будет. В противном случае, может прийти к выводу, что нужно делать то же, что с большими правонарушителями.


Нет, это пример абсурдности вашего тезиса, что "причина неэтичного поведения человека в его интеллекте".

Каким волшебным образом вообще не нарушающая этику пепельница послужила опровержением того, что причина неэтичного поведения человека в его интеллекте?
Как раз человек этику нарушает.
Если хотите опровергнуть мой тезис, не говорите загадками, а опровергайте более понятно.


Как и тот факт, что интеллектуал Эйнштейн был этичнее гопника.

Факт, что Эйнштей был этичнее гопника никак не опровергает того, что причина неэтичного поведения человека в его интеллекте. Интеллект как дает возможность придерживаться этики, так дает возможность ее нарушать. Разносторонняя личность.


И не должно быть - если я опровергаю ваше правило "причина неэтичного поведения человека в его интеллекте"

Вообще-то я считаю, что мы обсуждаем не мое утверждение "причина неэтичного поведения человека в его интеллекте", на которое вы разродились только "ну-ну", а ваше заявление, цитата: "чем человек интеллектуальнее, тем он безопаснее для общества - поскольку лучше социализируется".


то это не значит, что я утверждаю обратное правило

Ну, это врядли я писал, цитата: ""чем человек интеллектуальнее, тем он безопаснее для общества - поскольку лучше социализируется".".
Вы утверждаете это правило. Я опровергаю.
Итак, нет такого правила, что чем человек интеллектуальнее, тем он безопаснее для общества. Причины, почему нет, я приводил. Вы свое правило пытаетесть подтвердить какими-то окольными путями, мне непонятными.

Артура
Т.е. если создание сверх-сильного ИИ возможно...
А смысла создавать ИИ, слабее человеческого, нет. На земле миллиарды людей с интеллектом, способным решать обычные задачи. ИИ нужен, только, если он может в чем-то превысить наши способности. Как каменный топор сильнее кулака, а калькулятор считает быстрее бухгалтера. Но, интеллект, сильнее человеческого, в отличии от топора и калькулятора, оказывается вне контроля интеллекта человеческого. Ибо, не может калькулятор контролировать компьютер. Производительности не хватит.

(сильный ИИ без самосознания, достаточно легко обучаемый нашей этике)
Оксюморон.

вопрос интересный, я думаю применение этому будет

Carpenter from Bounty
"ИИ нужен, только, если он может в чем-то превысить наши способности. "
Превысить способности человека не сложно, например ИИ может работать круглосуточно, и решать 90 % типичных задач человека. Главное чтобы ИИ был дёшев и надежен.