Новички превосходят специалистов в биологии — КиберПедия 

Индивидуальные очистные сооружения: К классу индивидуальных очистных сооружений относят сооружения, пропускная способность которых...

Опора деревянной одностоечной и способы укрепление угловых опор: Опоры ВЛ - конструкции, предназначен­ные для поддерживания проводов на необходимой высоте над землей, водой...

Новички превосходят специалистов в биологии

2021-01-31 90
Новички превосходят специалистов в биологии 0.00 из 5.00 0 оценок
Заказать работу

 

Это была весьма важная работа, поскольку стояла задача лучше понять, как работает иммунная система, но невероятно трудная, поскольку лейкоциты должны обладать огромным арсеналом для борьбы с постоянно эволюционирующими антигенами человеческого тела. Хорошее решение для тела — располагать антителами и другими средствами, закодированными генами внутри каждого лейкоцита, однако сами эти гены состоят из большого набора соединенных вместе сегментов, иногда с мутациями. Точная последовательность активных сегментов меняется от клетки к клетке, а это означает, что разные клетки производят разное оружие. Его количество огромно. По одной оценке, сто (или около того) сегментов в человеческом лейкоците можно соединять и рекомбинировать по-разному, что дает 1030 молекулярных видов оружия. Это примерно в триллион раз больше числа песчинок на нашей планете.

Естественная и важная задача, стоящая перед учеными, — аннотация гена лейкоцитов, то есть правильная и последовательная идентификация всех сегментов. Как вы догадываетесь, эту работу делают компьютеры. Однако тут можно действовать разными способами, и непонятно заранее, какой из них даст наилучший, то есть самый быстрый и точный результат. Популярный алгоритм MegaBLAST[617], разработанный Национальными институтами здравоохранения США, может аннотировать один миллион последовательностей примерно за 4,5 часа с точностью 72 процента. Алгоритм idAb[618], созданный доктором Рами Арнаутом[619] из бостонского Beth Israel Deaconess Medical Center, значительно превышает эти показатели, делая тот же объем аннотации менее чем за 48 минут с точностью 77 процентов.

Чтобы узнать, насколько сильно можно улучшить ситуацию, Лахани, Будро и их коллеги разработали двухэтапный процесс и привлекли к работе толпу. На первом этапе они преобразовали узкоспециальную иммуногенетическую проблему аннотации генных сегментов в общую алгоритмическую задачу. Это дало возможность намного большему числу участников присоединиться к эксперименту, поскольку теперь от них не требовалось обладать познаниями в генетике, биологии и других науках.

На втором этапе исследователи опубликовали эту обобщенную задачу на Topcoder, сетевой платформе для решения вычислительно трудоемких задач. На момент проведения исследования в 2013 году Topcoder располагала сообществом из примерно 400 тысяч разработчиков программного обеспечения по всему миру, которые присоединились к этой платформе, в частности, потому, что им нравилось работать над сложными проблемами. Исследовательская группа сообщила потенциальным вычислителям, что их предложения получат оценку, учитывающую скорость и точность, и предоставила им массив данных для работы. Данные делились на две части: один набор был в открытом доступе для всех вычислителей, а ко второму, закрытому, они подключались на сайте Topcoder; участники не видели этих данных и не имели к ним прямого доступа, но могли применить к ним свои алгоритмы и получить оценку (для создания итоговых оценок использовался третий набор данных, тоже закрытый).

Соревнование на Topcoder продолжалось 14 дней. За это время 122 участника (отдельные люди или команды) как минимум по одному разу использовали свои алгоритмы для получения оценки, а многие сделали это по нескольку раз. Всего организаторы эксперимента зафиксировали 654 предложения. Состав участников был крайне неоднородным: они представляли 69 стран, а возраст колебался от 18 до 44 лет; большей частью они не обладали нужной квалификацией, по крайней мере в традиционном смысле. Приблизительно половина еще где-то училась, и, как указывали исследователи, «там не было теоретических или практических специалистов по вычислительной биологии, и всего пятеро сообщили, что занимаются какими-либо исследовательскими работами или имеют отношение к медико-биологическим наукам»[620].

Были ли все предложенные решения хорошими? Разумеется, нет. Большинство из них давали меньшую точность, чем MegaBLAST или idAb (хотя почти все были быстрее обоих этих алгоритмов). Тем не менее тридцать оказались точнее, чем MegaBLAST, а шестнадцать — точнее, чем idAb. Восемь предложений от толпы давали точность 80 процентов, которая, по оценке исследователей, была теоретическим максимумом для этого набора данных[621]. Те предложения, точность которых была как минимум не хуже, чем у idAb, работали в среднем 69 секунд, то есть в тридцать с лишним раз быстрее эталона. Три самых быстрых решения работали всего 16 секунд, то есть почти в 180 раз быстрее.

И еще одна важная деталь: общий призовой фонд конкурса составлял шесть тысяч долларов.

 

Что не так с экспертами?

 

Типичны эти результаты или необычны? Мы обратились с таким вопросом к Кариму Лахани, поскольку он считается ведущим специалистом в сфере соревнований, затрагивающих толпу, и провел множество исследований помимо того, что мы только что описали. Он сказал:

 

За последние пять лет мы поставили перед толпой более 700 проблем для NASA, медицинских институтов, компаний и других организаций, и только один раз потерпели неудачу, когда толпа не собралась и не решила задачу[622]. Во всех остальных случаях мы либо достигли уже существовавших результатов, либо значительно их превзошли[623].

 

Это кажется невероятным, не так ли? Ведь компании и организации вроде Национальных институтов здравоохранения или Beth Israel потратили огромное количество времени, средств и сил на создание ресурсов для инноваций и решения проблем, задействовав при этом научно-исследовательские лаборатории, научно-технический персонал, технические отделы и многие другие. Эти ресурсы, по сути, «ядро ядра». Так почему же толпа так легко превзошла их именно в тех задачах, с которыми они должны справляться?

Может быть, эксперты ядра на самом деле не так уж хороши? В конце концов, в главе 2 мы представили множество подтверждений того, что специалисты в определенной области, как и все люди, страдают от когнитивных искажений, которые ухудшают качество их работы. Может оказаться, что чем выше и известнее становятся люди в своих областях, тем сильнее проявляются слепые пятна — например, хорошо известные эффект сверхуверенности[624] и склонность к подтверждению своей точки зрения (фактическое рассмотрение только той информации, которая соответствует тому, что вы думаете); это должно вести к ухудшению результатов.

Может даже оказаться, что многие эксперты на самом деле вовсе не эксперты, что они обманывают себя и нас в отношении своих умений и качества работы. В сегодняшнем сложном, быстро меняющемся, технологически изощренном мире весьма трудно выделить тех, кто действительно знает, о чем говорит.

Несомненно, такие «недоэксперты» существуют, но мы не думаем, что в них кроется основная причина того, почему толпа часто показывает себя лучше ядра. Мы уверены, что подавляющее большинство нынешних ученых, инженеров, технических специалистов и других сотрудников организаций в самом деле имеют достаточную квалификацию для своей работы и заинтересованы в том, чтобы выполнять ее хорошо. Почему же толпа почти всегда их побеждает?

 

СЕРЬЕЗНОЕ НЕСООТВЕТСТВИЕ

 

У организаций много добродетелей, но часто они мешают сами себе, делая то, что неэффективно и что ухудшает их работу в области инноваций, НИОКР и практически во всех других областях. К сожалению, организационные кризисы — это реальность, а не только темы для бесчисленных мультфильмов «Дилберт»[625], и они мешают ядру работать так, как оно могло бы. Между тем более серьезная причина гораздо тоньше, чем простое нарушение функций: ядро часто не соответствует тем видам проблем и возможностей, с которыми оно сталкивается, в то время как с толпой такого не случается практически никогда в силу ее громадности. Но почему же ядро так часто бывает рассогласовано и разрегулировано? Разве научно-исследовательские лаборатории и технические отделы создаются не для того, чтобы соединять ресурсы, необходимые для решения поставленных задач? Это же не тот случай, когда лаборатория генетики нанимает по ошибке группу металлургов, а потом удивляется, что те не могут раскрыть тайны ДНК. Откуда такое частое рассогласование?

Кажется, здесь прослеживается влияние сразу нескольких факторов. Почти во всех дисциплинах постоянно создается важное новое знание, но оно может поступать в ядро весьма медленно. Например, в 2003 году было завершено полное секвенирование генома человека; это достижение должно оказать огромное влияние на медицину, фармацевтику, биотехнологию и другие отрасли науки. По мере того как технология секвенирования распространялась, а ее стоимость экспоненциально снижалась[626], оно затронуло сельское хозяйство, животноводство и другие отрасли. Если бы новаторы, исследователи и специалисты по решению проблем, которые работают в организациях в этих секторах экономики, не старались бы поддерживать свои знания и умения в актуальном состоянии, толпа, особенно более молодые ее участники, получившие образование недавно, легко бы превзошла их. Современные средства генной инженерии совершенно отличаются от того, чем мы располагали всего пять лет назад. Причиной является разработанный в 2012 году инструментарий CRISPR, полученный с помощью стрептококковых бактерий, который обеспечивает беспрецедентную точность в нахождении, вырезании и замещении любого желаемого сегмента очень длинной двойной спирали молекулы ДНК.

Мы также видели недавние изменения в искусственном интеллекте и машинном обучении (речь о которых шла в главе 3), в производстве энергии (благодаря гидравлическим разрывам пласта при добыче нефти и газа и очень резкому снижению стоимости солнечной энергии[627]) и во многих других отраслях. При таком быстром прогрессе знания ядра легко устаревают. Между тем среди участников толпы, по всей вероятности, хоть некоторые люди (или их ученики) способствовали появлению последних достижений, поэтому вполне знакомы с ними. Короче говоря, ядро может устаревать, тогда как толпа — фактически нет.

 

ПОЛЬЗА «ЛЮДЕЙ С ПЕРИФЕРИИ»

 

Вероятно, более важна другая причина того, что толпа часто превосходит ядро. Многим проблемам, возможностям и проектам (если не большинству из них) идет на пользу, когда люди и группы рассматривают их с разных ракурсов[628] — с позиций разного опыта, образования, подходов к решению задач, интеллектуального и технического инструментария, гендера и тому подобных. Это в точности соответствует определению толпы, и воспроизвести подобное в рамках ядра очень трудно, практически невозможно. Например, маловероятно, что в научно-исследовательских лабораториях в какой-нибудь фармацевтической компании найдется пара астрофизиков или криптографов на тот случай, если они вдруг понадобятся для решения какой-нибудь сложной задачи. Это противоречит практике бизнеса, но, если вдруг возникнет работа, требующая квалификации астрофизика или криптографа, делать ее будет некому.

Отсечение потенциальной пользы, которая может исходить от источников, выглядящих в целом бесполезными, — это безобразие, потому что очень часто бывают нужны знания и опыт далеких, на первый взгляд, дисциплин. Эрик Рэймонд, сторонник программного обеспечения с открытым кодом, заметил: «При достаточном количестве глаз все ошибки лежат на поверхности»[629]. Иными словами, любые проблемы решаются проще, если увеличить число и разнообразие занимающихся ими людей. Это продемонстрировал конкурс по секвенированию генома: ни одно из тех решений, что оказались одновременно точнее и быстрее эталона, не было предложено специалистами по вычислительной биологии. Такое превосходное качество работы неквалифицированных людей не кажется чем-то необычным. Когда Лахани и Ларс Бо Йеппесен изучили 166 научных проблем[630], опубликованных в InnoCentive — еще одном сетевом координационном центре, — они обнаружили, что успешному решению с большей вероятностью поддавались задачи, привлекавшие «людей с периферии», то есть технически или социально далеких от организаций, которые публиковали эти задачи[631].

Толпа имеет такую ценность в основном потому, что она в значительной части «периферийна» по составу: она представляет собой определенную комбинацию мыслительных способностей, хорошего образования, опыта, дотошности и мотивации, при этом люди, обладающие этими качествами, довольно далеки[632] географически, интеллектуально или социально от любого организационного ядра. По мере того как взаимосвязанные вычислительные мощности распространяются по миру и повсюду возникают полезные платформы, толпа, несомненно, становится жизнеспособным и ценным ресурсом.

 

Ядро замечает толпу

 

Разумные руководители организаций начинают интересоваться, как можно использовать преимущества толпы для решения своих проблем и для многих других целей. Эта деятельность пребывает пока на ранних стадиях, но мы уже видим множество заманчивых путей взаимодействия ядра и толпы.

Выполнение работы. Как в случае «Википедии» и Linux, толпа может собираться и создавать вещи огромной важности, особенно если выполняется ряд принципов, например открытости и отсутствия креденциализма. Некоторые организации претворяют эти принципы в жизнь и предлагают бизнесу услугу, которую можно назвать конструированием толпы. Одним из первых таких примеров была платформа Amazon Mechanical Turk[633], начало которой положила попытка компании найти и удалить дублирующиеся страницы продуктов; эта задача была передана сторонним участникам в ноябре 2005 года[634]. Сегодня толпа Mechanical Turk используется для решения самого широкого спектра задач, таких как преобразование текста с визитных карточек в электронные документы[635], участие в опросах для психологических исследований и маркировка изображений для программ искусственного интеллекта. Дополнения к базовой платформе Mechanical Turk работают по шаблону «найди — исправь — проверь»; эта схема программирования разработана Майклом Бернштейном и его коллегами из Массачусетского технологического института[636], а шаблон позволяет участникам делать выбор — выполнять какую-либо задачу или отыскивать и исправлять ошибки.

Платформа Topcoder, которая была задействована в эксперименте по секвенированию генома лейкоцитов, описанном в начале главы, применяет аналогичный подход. Она проводит конкурсы для поиска талантливых программистов по всему миру, а затем действует как интегратор и посредник между этими талантами и компаниями, желающими поручить стороннему разработчику создание какого-нибудь крупного приложения или проект по интеграции систем. В мировое сообщество участников Topcoder входят не только программисты, но и проектировщики, студенты, специалисты по анализу данных и физики[637]. Topcoder предлагает этой толпе ряд корпоративных проектов, позволяет самостоятельно организоваться в команды и распределить роли, связывает воедино всю их работу и следит за качеством. Чтобы обеспечить активность вроде той, что проявляют разработчики Linux, компания предлагает участникам денежные вознаграждения и контролирует их довольно поверхностно. Такие же соревнования, только в области математического анализа данных, проводит платформа Kaggle[638].

Поиск нужных ресурсов. Иногда вам незачем собирать целую толпу; вы просто желаете максимально быстро и с минимальными затратами найти нужного человека или команду. Шансы встретить кого-то подходящего повышаются по мере увеличения числа людей, просматривающих ваш запрос; это объясняет, почему такими популярными стали платформы, которые подбирают людей под задачи. Среди них можно назвать 99designs и Behance — для графического дизайна и других творческих задач, Upwork — для заданий по информационным технологиям и обслуживанию клиентов, Care.com — для оказания личных услуг, TaskRabbit — для широкого спектра разовых работ (например, провести свадебную церемонию[639], доставить торт из мороженого[640] чьему-либо дедушке или постоять в очереди в магазине Apple перед выходом нового iPhone[641]). Общим для этих стартапов является то, что Всемирная паутина и смартфон обеспечивают беспрецедентные возможности связать спрос и предложение различных услуг, как мы подчеркивали в части II книги, посвященной взаимодействию продуктов и платформ; мы уже говорили, что один из способов добиться этого — показать запрос максимально возможному количеству людей.

Анализ рынка.  Как мы описывали в главе 1, General Electric, одна из крупнейших, старейших и самых успешных промышленных компаний мира, обратилась к толпе, чтобы оценить пользовательский спрос на свою машину для льда. Это была не первая крупная организация, осознавшая, что платформы, задействующие толпу, могут предоставить ценные сведения об уровне заинтересованности потребителей в некоторых видах предложений, особенно относящихся к нишевой аудитории. Например, американский телесериал «Вероника Марс» (Veronica Mars)[642] о юной девушке-детективе, которую играла Кристен Белл, при показе в 2004-2007 годах имел преданных, но относительно немногочисленных поклонников. Когда сериал закончился, его фанаты не исчезли. Они продолжали обсуждать его в сети и на конвентах.

Такой неослабевающий интерес заинтриговал киностудию Warner Brothers, Белл и создателя телесериала Роба Томаса. Они задались вопросом, не означает ли это, что спрос на полнометражный фильм «Вероника Марс» будет достаточным, даже если он выйдет через несколько лет после окончания сериала. Чтобы выяснить это, они запустили кампанию на популярной краудфандинговой площадке Kickstarter[643]. Кампания включала короткий трейлер для предполагаемого фильма, видеообращение Белл и Томаса и предложение о вознаграждении за тот или иной уровень материальной поддержки[644], [645]. Заявленной целью кампании было привлечение двух миллионов долларов. Эту сумму удалось собрать за первые 12 часов[646], а общий объем привлеченных таким образом средств составил 5,7 миллиона. Премьера фильма состоялась 14 марта 2014 года[647] — как в кинотеатрах, так и в сервисах, предоставляющих видео по запросу. Он получил в целом положительные отзывы и был признан финансово успешным.

Марк Андриссен, начинавший свою карьеру в качестве главного программиста самого успешного из ранних браузеров и с тех пор ставший известным венчурным инвестором, считает, что краудфандинг мог бы быть одним из главных способов разработки новых предложений. Марк поделился с нами соображениями: «Можно сказать, что путь, которым появлялись продукты и услуги, включая развлекательные средства, обувь, еду и все остальное, — путь, которым на рынке появлялось что угодно в течение последних двух тысяч лет, был неправильным. Все определялось предложением. Но к тому времени, когда вы узнавали, нравится что-то рынку или нет, вы уже успевали вложить кучу денег. Краудфандинг переворачивает эту модель. Вы не будете выходить на рынок с продуктом, если люди не сделали предварительных заказов. К тому же он обеспечивает и предварительное финансирование… Краудфандинг позволяет собрать финансовый капитал с помощью социального капитала. Вы пытаетесь создать определенное движение вокруг чего-либо и стараетесь сделать так, чтобы люди авансом заплатили за это»[648].

В начале 2016 года Indiegogo отвела часть своей площадки и создала набор инструментов для «Корпоративного краудфандинга»[649], обещая крупным компаниям получение «обратной связи от клиентов в реальном времени перед инвестированием в производство» и превращение «исследований из затрат в возможность предварительных продаж и приобретение заказчиков»[650].

Приобретение новых заказчиков. Помимо платформ для краудфандинга в последние годы появились и стали популярными платформы для крауд лендинга. Многие из них, если не большинство, первоначально предназначались для равноправного предоставления займов — для связывания людей, желающих инвестировать, с людьми, которым нужен личный заем или ссуда для коммерческого предприятия, но которые не могут или не желают получать деньги у традиционных кредиторов. Со временем многие институциональные инвесторы, включая некоторые крупнейшие мировые хедж-фонды[651], осознали наличие благоприятных возможностей внутри этих крупных групп охотников за ссудами. Уровень невозврата был, по крайней мере, отчасти прогнозируемым, а процентные ставки конкурентоспособными; это означало, что соотношение риска и вознаграждения часто было привлекательным. По мере роста платформ они создавали массу благоприятных возможностей — достаточно много, чтобы привлечь серьезных инвесторов. В 2014 году на двух крупнейших платформах в США, Prosper и Lending Club[652], значительно больше половины общего объема средств поступило от институциональных инвесторов, которые нередко использовали специализированное программное обеспечение, чтобы разобраться в имеющихся возможностях. В реальности равноправное предоставление займов часто превращалось в нечто более традиционное: крупные, хорошо известные кредиторы предлагают личные займы и ссуды для малого бизнеса, просто своих клиентов они находили новыми способами.

Однако важно не только то, что крупные хедж-фонды находят новых клиентов благодаря платформам, ориентированным на толпу. Важны также особо громкие голоса, исходящие из самой толпы. Марк Андриссен рассказал нам о стартапе Teespring, который в 2011 году основали Уолтер Уильямс и Эван Стайтс-Клейтон. Вот что Андриссен объяснил нам:

 

Teespring представляет собой современный метод обратить социальный капитал в финансовый. Это одна из тех вещей, которые сначала ошарашивают вас своей абсурдностью, но после того, как глотаете красную таблетку, вы осознаете, что происходит[653]. Именно этот способ позволяет группам в Facebook и звездам YouTube или Instagram торговать футболками. Сначала вроде продаешь что-нибудь по мелочи — кажется, ерунда. Но потом вдруг оказывается — вся суть в том, что у тебя есть эти группы в Facebook или что ты звезда YouTube с миллионами подписчиков… [и] социальный капитал становится реальностью. Твои подписчики или почитатели ценят то, что ты делаешь, но у них нет способа платить тебе. Они тебя любят и хотят тебя поддержать. Так вот, я хочу сказать, что футболки — это только начало. Вместо них может быть что угодно, за что бы вы ни взялись. Это фактически сувениры, вы увлечены работой над ними и сообщаете что-то о себе… Это как тотем, как своеобразный психологический якорь для того, что вас волнует[654].

 

Освоение инноваций. Долгое время считалось, что большие солидные компании должны быть новаторами, ведь именно они располагают ресурсами для открытия масштабных лабораторий и содержания научно-исследовательского персонала. Выдающийся австрийский экономист Йозеф Шумпетер оспорил такую точку зрения. Он утверждал, что более вероятными создателями действительно новых продуктов и услуг будут компании помельче, помоложе и попредприимчивее — те, что не заинтересованы в поддержании существующего положения дел. Он заметил: «Железные дороги, как правило, строят не владельцы дилижансов»[655]. В самом деле, эпохальная работа Клейтона Кристенсена о подрывных инновациях показала, что причиной таких подрывов редко становятся успешные участники отрасли, — напротив, происходящее очень часто застает их врасплох.

Еще одно мощное направление исследований в области инноваций возникло из работ нашего коллеги из Массачусетского технологического института Эрика фон Хиппеля[656]. Он подчеркнул важную роль «лидеров среди пользователей» при появлении инноваций в разных областях. Это те пользователи существующих продуктов и услуг, которые обнаруживают в них недостатки и начинают не только представлять себе улучшения, но и создавать эти улучшения и рассказывать о них. Фон Хиппель активно документировал пользовательские инновации в различных областях — от хирургических инструментов до оборудования для кайтсерфинга, — да и мы тоже наблюдаем стремительный рост количества таких примеров в современных сферах высоких технологий. Оказывается, многие видные компании в этом секторе были основаны людьми, разочарованными в сложившейся ситуации, — людьми, которые сказали себе: «Должен быть путь получше», и взялись за дело[657].

Сервис для повседневных задач TaskRabbit, например, придумала Лия Бюск; ей тогда было 28 лет, она работала инженером в IBM и жила в Массачусетсе. Однажды холодной ночью 2008 года ей понадобилась еда для собаки (желтого лабрадора по имени Коби), и Леа подумала: «Как было бы здорово, если бы в сети существовало место, куда вы могли бы пойти… Место, где вы могли бы указать цену, которую готовы заплатить за какую-либо работу. По соседству наверняка нашелся бы кто-то, согласный доставить еду для собаки за те деньги, что я готова заплатить».

Многие из сегодняшних технологических гигантов, очевидно, учли уроки Шумпетера, Кристенсена и фон Хиппеля и постоянно следят за толпой в поисках новаций, способных подорвать их положение. Когда же они находят такую идею, то часто стараются не задушить ее или сделать нерентабельной, а, напротив, покупают и осваивают. В промежутке между 2011 и 2015 годами Apple приобрела 70 компаний[658], Facebook — более пятидесяти[659], а Google — почти двести[660].

Часто в таких случаях покупатель уже имеет сходное предложение. Скажем, компания Facebook уже создала сама функцию обмена сообщениями и фотохостинг к тому моменту, когда купила WhatsApp и Instagram. В обоих случаях было легко убедить себя, что стартап-выскочка не представляет угрозы. Однако определенный сигнал от толпы — что появилась другая новация и что она была быстро принята — убедил руководителей более крупной и давно существующей на рынке компании приобрести то, что создали «лидеры среди пользователей» или другие новаторы. Нередко это бывает весьма затратно; Facebook заплатила миллиард долларов за Instagram[661] и больше 20 миллионов за WhatsApp[662]. Однако все же лучше отдать такие деньги, чем потерпеть крах.

 


Поделиться с друзьями:

Двойное оплодотворение у цветковых растений: Оплодотворение - это процесс слияния мужской и женской половых клеток с образованием зиготы...

Поперечные профили набережных и береговой полосы: На городских территориях берегоукрепление проектируют с учетом технических и экономических требований, но особое значение придают эстетическим...

Папиллярные узоры пальцев рук - маркер спортивных способностей: дерматоглифические признаки формируются на 3-5 месяце беременности, не изменяются в течение жизни...

Семя – орган полового размножения и расселения растений: наружи у семян имеется плотный покров – кожура...



© cyberpedia.su 2017-2024 - Не является автором материалов. Исключительное право сохранено за автором текста.
Если вы не хотите, чтобы данный материал был у нас на сайте, перейдите по ссылке: Нарушение авторских прав. Мы поможем в написании вашей работы!

0.011 с.