Сборник статей Под редакцией А. В. Турчина Препринт Проект Российского Трансгуманистического Движения Москва 2011

Engines of Creation: The Coming Era of Nanotechnology, London, Forth Estate, 1985; N. Bostrom, “How Long Before Superintelligence?” International Journal of Futures Studies, vol. 2, (1998); R. Kurzweil, The Age of Spiritual Machines: When computers exceed human intelligence, New York, Viking Press, 1999; H. Moravec, Robot: Mere Machine to Transcendent Mind, Oxford University Press, 1999

2 Такими как граница Бремерманна-Бекенштейна (предел количества информации, могущий содержаться в определённом объёме пространства с определённой энергией – прим. пер.) и границы чёрной дыры (H. J. Bremermann, “Minimum energy requirements of information transfer and computing.” International Journal of Theoretical Physics 21: 203-217 (1982); J. D. Bekenstein, “Entropy content and information flow in systems with limited energy.” Physical Review D 30: 1669-1679 (1984); A. Sandberg, “The Physics of Information Processing Superobjects: The Daily Life among the Jupiter Brains.” Journal of Evolution and Technology, vol. 5 (1999)).

3 K. E. Drexler, Nanosystems: Molecular Machinery, Manufacturing, and Computation, New York, John Wiley & Sons, Inc., 1992.

4 4 R. J. Bradbury, “Matrioshka Brains.” Working manuscript (2002), http://www.aeiveos.com/~bradbury/MatrioshkaBrains/MatrioshkaBrains.html.

1 S. Lloyd, “Ultimate physical limits to computation.” Nature 406 (31 August): 1047-1054 (2000).

2 H. Moravec, Mind Children, Harvard University Press (1989)

3 Bostrom (1998), op. cit.

4 См. ссылки в предыдущих примечаниях.

1 Однако, по мере того, как мы создаём всё более быстрые и мощные компьютеры, цена симулирования этих компьютеров может превысить цену симулирования мозгов.

2 100 млрд. людей * 50 лет/на человека* 30 млн сек/год* ×[10¹⁴, 10¹⁷] операций в мозге каждого человека = 10³³-10³⁶ операций.

1 Например, в N. Bostrom, “The Doomsday argument, Adam & Eve, UN++, and Quantum Joe.” Synthese 127(3): 359-387 (2001); и более подробно в моей книге Anthropic Bias: Observation Selection Effects in Science and Philosophy, Routledge, New York, 2002

2 См., например, J. Leslie, “Is the End of the World Nigh? ” Philosophical Quarterly 40, 158: 65-72 (1990).

1 См. мою статью “Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards.” Journal of Evolution and Technology, vol. 9 (2001), в которой приведён обзор и анализ нынешних и ожидаемых в будущем угроз человеческому выживанию. Русский перевод: Ник Бостром. Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей.
http://www.proza.ru/texts/2007/04/04-210.html

2 См., например, Drexler (1985) op cit., и R. A. Freitas Jr., “Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations.” Zyvex preprint April (2000), http://www.foresight.org/NanoRev/Ecophagy.html. Р.Фрейтас. Проблема Серой Слизи.

http://www.proza.ru/texts/2007/11/07/59.html

1Похожие рассуждения на эту же тему другого автора на тему последствий (3), которые были вызваны циркулировавшей ранее версией этой статьи см. R. Hanson, “How to Live in a Simulation.” Journal of Evolution and Technology, vol. 7 (2001).

1 Ник Бостром (Nick Bostrom) — специалист в области философии науки, этики технологии и науки, трансгуманизма. С 2000 по 2002 преподаватель факультета философии Йельского университета (США), с 2003 исследователь в Оксфордском университете (Великобритания). Автор 16 научных статей, посвященных антропному принципу, технологическому прогрессу, искусственному интеллекту и аргументу о симуляции. Автор книги Anthropic Bias: Observation Selection Effects. 2002. Routledge, New York.

Личный сайт: www.nickbostrom.com

1 21-го мая 2003 года в России выходит на экраны вторая часть фильма: «Матрица: перезагрузка».

1 Главный герой игр серии GTA (Grand Theft Auto) значительную часть времени разъезжает по городу не соблюдая никаких правил, калеча пешеходов или расстреливая полицейских (http://www.grandtheftauto.com).

1 Это приблизительная интерпретация математических формул, полученных в данном разделе оригинальной статьи. Логические и математические ошибки, допущенные при выводе этих формул, делают невозможной полностью корректную интерпретацию. Свою интерпретацию формул Бостром приводит в соответствующем разделе (Interpretation) исходной статьи.

1 В аргументе, содержащем ошибку «логический круг», заключение используется для доказательства одной из предпосылок.

1 Для обзора литературы об антропных принципах и антропном мышлении, см. Barrow and Tipler; Balashov; and Bostrom [56-58].

1 Некоторые предыдущие находки, относящиеся к этой части, показаны у Чирковича [59].

1 Это допущение может считаться рабочей гипотезой, но интерпретируя наши результаты (из пятой части статьи) при рассчёте настоящих угроз, мы должны найти им физическое подтверждение. Можно возразить, что небольшой значение N является чуть ли не неотъемлимой частью разговоров о глобальных угрозах. Дальнейшая работа требуется для определения факторов, влияющих на степень достоверности дискуссий о временых «слотах» катастрофичных инцидентов.

1 Некоторые авторы, возможно наполовину в шутку, предположили, что некоторые виды динозавров, перед их вымиранием 65 Myr назад [60, 61], могли обладать интеллектом. Не рассматривая степень достоверности этих умозрительных построений, мы можем утверждать, что в подобной воображаемой ситуации, падение астероида в Чиксулуб (если это действительно было причиной массового вымирания в конце мелового периода) не только уничтожело всех наблюдателей той эпохи, но ещё сделало планету невозможной для эволюции наблюдателей на (допустим) 63 Myr. Очевидно, что это не остановило эволюцию, начиная от (допустим) 1 Myr назад. Вопрос восстановления после массового вымирания был признан как наименее понятый в палеонтологии и эволюционной биологии; предварительные результаты показывают, что временная шкала восстановления велика и оценивается в десятках Myr [62, 63].

1 Конечно, это предельно упрощённый пример. В действительности, прямой поиск околоземных объектов является гораздо более важным для предсказания настойщих и будущих угроз столновений, чем подсчёт и определение времени кратеров и прочих геофизических следов [64-66]. Тем не менее существует незначительная возможность оставшихся незамеченными больших тёмных астероидов, которые могут быть обнаружены только через их прошлые следы, а количественные данные о земных кратерах смогут помочь в выборе конкурирующей гипотезы [67, 18, 19].

1 Она не отсутствует полностью, как часто упоминается в популярной литературе: микрометиариты и космческое излучение приводят к некоторой потере информации.

2 Это в большей степени относится к записям о кратерах других тел Солнечной системы, например, Марса.

3 В дополнение к кратерам от столкновений, существует так же ряд других следов, которые способствуют построению функции эмпирического распределения для столкновений – в основном, химические аномалии или импактиты [68].

1 Эксперты дают оценку вероятности в 1 к миллиарду (Near-Earth Object

Science Definition Team 2003)

1 Научные аргументы также иногда являются ошибочными по причинам сознательного мошенничества, однако мы не будем рассматривать это конкретный риск в данной статье.

2 Доказательство может принимать в расчет возможность, что некое суб-доказательство является ложным. Например, оно может предложить два альтернативных суб-доказательства, чтобы доказать одну и ту же точку зрения. Мы одобрительно относимся к такой практике и подробнее рассматриваем ее в разделе 4. Однако ни одно доказательство не может принимать в расчёт вероятность того, что оно является ложным – это потребует ещё одного более высокоуровневого доказательства.

1 Между 1982 и 2002 62% все отзывов статей было связано с непреднамеренными ошибками, а не с нарушениями научной этики. (Nath, Marcus et al. 2006).

2 Очень обширная база данных статей по биомедицинским исследованиям по более чем 5 000 журналов.

1 Вопрос о ширине модели тесно связан с тем, что (Hansson 1996) называет неопределённость демаркации. Но демаркация проблемы включает в себя не только очевидную демаркацию пространства и времени, но также вопросы о том, какую систему следует рассматривать, какой масштаб рассматривать и т. д.

1 Дополнительные теории и модели могут быть намеренно использованы чтобы понизить вероятность ошибки в доказательстве, и в главе 4 мы увидим, как это было сделано для оценок безопасности БАК.

1 (Kent 2004) указывает на некоторые ошибки в оценке вероятностей в различных версиях этой статьи, равно как и в Брукхавенском отчёте. Даже если это просто типографские ошибки, это указывает на то, что вероятность ошибочных оценок рисков не является нулевой.

1 В апреле 2000 года, пытаясь понять загадочные высказывания Комптона, я связался с Гансом Бете, ключевой фигурой как в Лос-Аламоском проекте, так и в теоретических исследованиях, которые привели к выводу о том, что вероятность поджигания атмосферы взрывом атомной бомбы является пренебрежимо малой. Его взгляды, переданные посредником (Kurt Gottfried) состояли в том, что анализ Konopinski et al был окончательным и не давал возможности сделать никаких осмысленных утверждений о вероятностях, поскольку необходимые условия не могли быть достигнуты никаким возможным способом. Бете предположил, что цифра в 3 × 10−6 была взята Комптоном «из головы» и является «слишком, слишком большой» [5].

2 Эти результаты рассмотрены работе по ссылке [8]. Вопрос о том, действительно ли они дают адекватные гарантии, что никакие представимые в будущем эксперименты на коллайдерах не будут неприемлемо рискованными, требует пересмотра в свете аргументов, приведённых ниже.

1 Группа DDH также рассмотрела эксперименты ALICE (создание кварк-глюонной плазмы на Большом адроном коллайдере (LHC) в ЦЕРН, запланированные на 2008 год – прим. пер.) Их границы риска катастрофы, создаваемые ALICE, не будут рассмотрены здесь, так как они ничего не стоят, поскольку даже группа DDH признала их неадекватными и предложила провести дальнейшие исследования.

2 Некоторые другие возможные «дыры» в их аргументации рассмотрены в [14].

3 И действительно, веб-страница Брукхавена в апреле 2003 года продолжала направлять читателей на исходную неизменённую версию препринта BJSW http://www.bnl.gov/rhic/disaster.htm (судя по всему, так дело обстоит и в настоящий момент – апр. 2008 года – сравни с http://arxiv.org/abs/hep-ph/9910333v2 – прим. пер.) Следует отметить, что BJSW подчёркивает [8] в пересмотренной версии своей работы, что они считают одни только теоретические аргументы достаточно убедительными. Это может быть оправданная позиция, но это вовсе не то же самое, что было заявлено в начале и донесено до широкой публики.

1 То, что эти утверждения неверно представляют их результаты, было указано автором этой статьи группе DDH в январе 2000 г.

1 В отличие от этого, утверждение Комптона о риске уничтожения жизни на Земле в результате ядерного взрыва дано в форме оценки риска – хотя, как было указано выше, оно ничем не подтверждено.

1 Аргументы в таком духе предлагались в ходе неформальных дискуссий, но, насколько мне известно, ни один из них не вышел в печати. Такие аргументы надо предлагать очень аккуратно, поскольку теоретические аргументы и эмпирические границы не являются независимыми. Как уже отмечалось, эмпирические границы в любом случае опираются на некие теоретические предположения, и если теоретические предположения оказываются неверны, построения относительно эмпирических границ также окажутся под вопросом.

2 Могут выжить несколько космических аппаратов, включая Пионеры и Вояджеры, которые несут человеческие послания, равно как и уходящие вдаль и ослабевающие радиосигналы, когда-то сгенерированные на Земле.

1 Некоторые версии «астероидного теста» обсуждались как возможные оправдания приемлемости границ риска BJSW и DDH несколькими людьми, участвующими в формировании политики CERN и Брукхавена, например, в W. Pratt et al., Brookhaven National Laboratory Memo to T. Ludlam and J. Marburger, 17.2.00. Астероидный тест также рассматривается в ссылке [18].

1 : Я благодарю Michael Roy Ames, Eric Baum, Nick Bostrom, Milan Cirkovic, John K Clark, Emil Gilliam, Ben Goertzel, Robin Hanson, Keith Henson, Bill Hibbard, Olie Lamb, Peter McCluskey и Michael Wilson за их комментарии, предложения и критику. Нет необходимости говорить, что все оставшиеся ошибки в этой статье – мои.

1 Эта история, хотя и известная, и часто цитируемая, может быть апокрифической. Я не нашёл сообщения из первых рук. Для отчёта без ссылок см. Crochat и Franklin (2000) или http://neil.fraser.name/writing/tank/. Ошибки такого рода являются предметом больших реалистических рассмотрений при создании и тестировании нейронных сетей.

2 Bill Hibbard, после просмотра черновика этой статьи, написал ответ, доказывающий, что аналогии с проблемой «классификатора танков» не применима к подкрепляющему обучению в целом. Его критика может быть найдена здесь: http://www.ssec.wisc.edu/~billh/g/AIRisk_Reply.html. Мой ответ: http://yudkowsky.net/AIRisk_Hibbard.html. Hibbard также отмечает, что предложение Hibbard (2001) заменено предложением Hibbard (2004). Последнее предлагает двухуровневую систему, в которой выражения согласия со стороны людей подкрепляют распознавание счастья, и распознанное счастье подкрепляет стратегии поведения.