КБШ. 3. 2 Стилостатистический Тест Менденхолла

<> 3.2.2 СТИЛОСТАТИСТИЧЕСКИЙ ТЕСТ МЕНДЕНХОЛЛА  <>

Сравнивая стилевые особенности произведений Кристофера Марло и Уильяма Шекспира, марловианцы пришли к выводу об их удивительном сходстве.  Особенно воодушевили сторонников Марло результаты разных видов статистического анализа текстов писателей 16-17 веков и, в первую очередь, итоги теста Менденхолла.  Вот как восторженно отозвался о результатах этого теста Питер Фэйри[16]:

«Нечто, похожее на сенсацию, произвели результаты эксперимента среди его исполнителей.  Характеристические кривые пьес Марло согласовывались с кривыми пьес Шекспира, так же хорошо, как шекспировские сами с собой». 

Попытаемся разобраться, насколько же сенсационным на самом деле было обнаруженное сходство.

Американский физик доктор Томас Корвин Менденхолл в конце девятнадцатого столетия изобрёл метод, позволявший определить, кому из авторов принадлежит тестируемый текст путём сравнения его стилостатистических характеристик с соответсвующими характеристиками текстов представленных авторов. 

В основе метода лежала аксиома Менденхолла, утверждающая, что процентное соотношение одно-, двух-, трёх-,.. и n-буквенных слов в тексте любого автора – однозначно идентифицирующий этого автора параметр, также надёжно, как отпечатки пальцев.  Поддерживается это соотношение, по мнению Менденхолла, на уровне подсознания автора, поэтому автор не может избежать узнавания, о чём бы и как бы он ни писал.   

Сторонники кандидатуры Фрэнсиса Бэкона, прослышав об успехах волшебного медода Менденхолла, обратились к нему за помощью.  Но результаты тестирования оказались для них неожиданными.  Авторство Фрэнсиса Бэкона тест безжалостно опроверг, как и авторство всех других кандидатов (Бен Джонсон, Фрэнсис Бомонт, Джон Флетчер), кроме одного – Кристофера Марло, стиль которого оказался «сенсационно» похожим на шекспировский. 

Менденхолл нанял группу учётчиц-энтузиасток, которые вручную подсчитывали количества слов различной длины в пьесах Шекспира и в произведениях других писателей и заносили в таблицы.  Затем подсчитывались доли в процентах слов различной длины по отношению к общей сумме слов текста для каждого из тестирумых текстов и коэффиценты корреляции Пирсона[17] (степень совпадения и родства) процентных планок  двух текстов одного и того же автора и пар текстов различных авторов. Объём работы был настолько велик, что повторить эксперимент в полном объёме и перепроверить результаты не представлялось возможным.


Наконец-то в начале 21 века Питер Фэйри, вооружённый достижениями компьютерной техники и программирования, решил повторить тест Менденхолла.

Сначала он проверил, работает ли сама идея.  Питер Фэйри сравнил между собой характеристики Менденхолла, вычисленные для двух частей «Путешествий Гулливера» Джонатана Свифта (104,779 слов в сумме).  Обе части, как и ожидалось, оказались написанными одним и тем же автором.  Коэффициент корреляции – очень высокий, r=0.9993 (а возможный максимум=1).  Необходимым для установления идентичности двух авторов в данном эксперименте считатается коэффициент корреляции, содержащий ТРИ ДЕВЯТКИ ПОСЛЕ ДЕСЯТИЧНОЙ ТОЧКИ.

Такие же хорошие результаты дало сравнение между собой романов Джейн Остен (r=0.9997).  Не подвёл экспериментатора и Генри Лонгфеллоу (r=0.9992), а также и другие.  И только тогда Питер Фэйри перешёл к сравнению между собой текстов различных авторов. Всего 36 авторов.  Из писателей 16-17 веков он протестировал Филипа Сидни, Фрэнсиса Бэкона, Кристофера Марло, Уильяма Шекспира, Бена Джонсона, Джона Флетчера и Томаса Мидлтона.

В процессе тестирования Питер Фэйри столкнулся с трудностями и внёс поправку в аксиому «отпечатков пальцев» Менденхолла:

«Стиль автора может изменятся с течением времени и при переходе от одного жанра к другому». 

Когда Питер Фэйри сравнил трагедии и «римские» пьесы Шекспира с его комедиями, коэффициент корреляции вышел недостаточно высоким (r=0.9986), то есть трёх девяток после десятичной точки не набралось. Если верить результатам его теста, то получалось, что комедии и трагедии Шекспира писали разные люди.

Стилометрические характеристики пьес Томаса Мидлтона совпадали с комедиями Шекспира примерно в той же степени (r=0.9974).  А характеристики ранних и поздних работ Марло коррелировались между собой ещё хуже (r=0.9943). 

Питер Фэйри частично отошёл от принципа «средней по больнице температуры» из старого анекдота, который подсознательно использовал Менденхолл. 

«За ночь в больнице умерло 3 человека, у 10 человек был жар и горячка. Средняя температура по больнице – нормальная».   

Менденхолл слил все 37 пьес Шекспира воедино и вывел усреднённые параметры.  Питер Фэйри разбил пьесы Шекспира на две категории: комедии и не-комедии, а произведения Марло на поздние и ранние.  И вследствие этих усовершенствований, «поздний Марло», сравнённый с не-комедиями Шекспира, вышел победителем (r=0.9998). ТРИ ДЕВЯТКИ!

Таким образом, по мнению Питера Фэйри, был снова достигнут «сенсационный» эффект.  Но, повторяя тест Менденхолла, мистер Фэйри всё-таки «усреднил Шекспира»: в категорию «не-комедии» вошли и трагедии, и сильно отличающиеся от всего творчества Шекспира романтические истории («Цимбелин», «Зимняя сказка», «Буря»); вместе рассматривались также ранние и поздние произведения Шекспира.
Выбор сравниваемых текстов из двух полных корпусов произведений Шекспира и Марло, сделанный Фэйри, был субъективным. Логичнее и точнее было бы удалить из шекспировской выборки романтические истории, а может быть, ещё и некоторые хроники, и сравнивать трагедии Марло с трагедиями Шекспира. Но Питер Фэйри так не поступил или не обнародовал результаты, так как коэффициент корреляции в этом случае, вероятно, не был сенсационным.

Затем Питер Фэйри расширил набор тестов, добавив, например, тест Тейлора, основанный на анализе частоты употребления автором различных функциональных слов, таких как “for, with, no, to” («для, с, нет, к») и т. д.  При этом он ввёл поправочные коэффициенты для учёта даты написания каждого произведения с точностью до одного года.  Такое «усовершенствование» является скорее ПОДГОНКОЙ РЕЗУЛЬТАТОВ, чем научным методом, так как даты написания произведений Шекспира – предмет споров многих шекспироведов, и никак не могут являться надёжными данными для тестирования. 

Правомерным и убедительным был тест Питера Фэйри, в котором он подсчитал процентное отношение предложений, переходящих на другую строчку (run-on lines), и женских концовок (feminine endings) по отношению к общему количеству строк  в стихотворных произведениях Марло, Шекспира и их современников.

Удельных вес «бегущих» предложений и женских концовок у Марло и Шекспира был выше, чем у других авторов.  Но, чтобы прийти к такому выводу, не нужно даже было тратить время на тест.  Литературные критики классического толка, исследователи творчества Марло, давно определили, что Марло был новатором в этом деле[18].  До него пятистопный ямб был вялым, монотонным и утомительным (как, например, в «Горбодуке» Саквилла и Нортона) из-за того, что все предложения кончались в конце строки.  Переход на другую строчку им был запрещён.  Свободолюбивый Шекспир последовал в этом направлении за Марло.  Шекспиру было свойственно перенимать всё лучшее у своих коллег-писателей.  Этот факт не опровергает, но и не доказывает того, что Марло был Шекспиром.  Кроме того, известно, что «открытых» и «женских» концовок у Шекспира было гораздо больше, чем у Марло.

Также Питер Фэйри проанализировал частоту использования букв алфавита в произведениях разных авторов.  Оказывается, у авторов есть любимые буквы. На мой взгляд, это правомерный тест для наших времён с установленными правилами правописания.  Однако во времена Шекспира писали, как слышали, и все по-разному.  К текстам Шекспира приложили руку соавторы, копировальщики, «литературные пираты», корректоры и редакторы.  Рукописи Шекспира до нас не дошли, а напечатанные произведения вряд ли сохранили специфику шекспировсого написания слов.  Результаты такого теста мне представляются не очень-то весомыми.

Но вернёмся к «сенсационным» результатам теста Менденхолла.  Питер Фэйри якобы подтвердил их сенсационность.  Кстати, сам Менденхолл писал, что его метод лучше работает для исключения авторов из списка, чем для подтверждения полной идентичности двух авторов. С подтверждением идентичности нужно быть гораздо осторожнее.

И я решила самостоятельно проверить, насколько хорошо работает тест Менденхола для шекспировского времени и какими будут результаты тестов по его методу.  В студенческие годы я увлекалась корреляционным, регрессионным и спектральным анализом.  Моя дипломная работа «Методы регрессионного анализа в управлении запасами» заняла первое место на ежегодном всесоюзном конкурсе научных студенческих работ и получила медаль Министерства просвещения СССР.  После окончания института я, на добровольных началах, то бишь бесплатно, помогала исследовать сердечные кардиограммы травмированных собачек и кошечек, применяя к исследованию кривых методы корреляционного и спектрального анализа.  Жизнь сложилась так, что потом эти методы были мной надолго забыты.  И вот я наконец-то попробовала «тряхнуть стариной». 

Особого труда проанализировать правомерность применения коэффициента корреляции в данном случае и запрограммировать известные формулы не составило.  Проблема (и большая!) была в другом: в предварительной обработке текстов Шекспира и его современников. 

Никаких правил орфографии!  В одном и том же произведении одно и то же слово могло писаться одним и тем же автором тремя различными способами. 

Апострофы и дефисы тоже создают проблемы.  Каково, например, количество букв в слове “’tis” («это есть»)?  Три (не считая апострофа) или четыре (с апострофом)? А, может быть, рассматривать это сочетание как два двухбуквенных слова “it” («это») и “is” («есть»)?  Последнее было бы несправедливым по отношению к Шекспиру, который любил употреблять именно “’tis”, тогда как некоторые его современники предпочитали “it is”.  Но опять-таки, Шекспир ли любил такое написание или его редактор, или его печатник?

Ещё пример. Букву “w” нередко писали, как две буквы “v” (“vv”). И как её в таком случае учитывать, как две или как одну?

В конце слова порой добавляли букву “e”. Так слово “he” («он») в одном и том же тексте могли написать, как “he” (2 буквы) и как “hee” (три буквы). “Loste”, “moane”, “deare”, “paines” могли написать вместо “lost” («потерянный»), “moan” (стонать), “dear” («дорогой»), “pains” («боли»).

Удвоенные согласные кое-когда заменяли одной согласной. Так, к примеру, “fallen” («упавший, падший»), когда хотели, писали, как “falen”.

“Breast” («грудь») могли написать “brest”, а “move” – как “moove”. Какой уж тут подсчёт количества букв?

Разработка правил правописания и обоснованная унификация текстов шекспировского времени – серьёзная задача.  Но никто из энтузиастов компьютерного тестирования всерьёз ею не занимался, насколько мне известно. Все пошли по одному и тому же пути: выбрали для тестирования приглянувшиеся или доступные варианты текстов (среди хороших и плохих кварто и фолио) и сформулировали по своему вкусу правила подсчёта.  Например, апостроф и дефис считать буквами.  Такой подход вносит некоторую неточность в полученные результаты.  Накопленный опыт до и во время проведения эксперимента, привёл меня к заключению, что для чистоты эксперимента необходимо было бы соблюдение следующих правил:

1). Достаточно большой объём выборки, то есть, размер сравниваемых текстов.
2). Совпадение времени написания сравниваемых текстов.
3). Совпадение жанров.
4). Совпадение тем. 
5). Однородность текстов.  Например, роман или поэма чаще всего представляют однородные тесты.  Сборник экспериментальных стихотворений содержит разнородный материал. Искусственное слияние писем автора и его стихотворений представляет собой разнородный текст.
6). Сольное авторство исследуемых произведений.
7). Единые правила правописания сравниваемых текстов.

Соблюсти все эти условия, работая с текстами конца 16-го – начала 17-го века, практически невозможно. Разве что сравниваются тексты Бена Джонсона, который очень серьёзно относился к тому, в каком виде он оставит свои произведения потомкам, и перепроверял каждую напечатанную букву.

И всё-таки я решила попробовать сделать свои подсчёты и посмотреть на результаты.

Для начала, как и Питер Фэйри, я проверила работоспособность идеи.  В таблице 1 приведены некоторые из его и моих результатов такой проверки.  Сравнение между собой двух наборов текстов одного и того же автора эпохи устоявшейся орфографии дало ХОРОШИЕ РЕЗУЛЬТАТЫ: ТРИ ДЕВЯТКИ ПОСЛЕ ДЕСЯТИЧНОЙ ТОЧКИ.  При этом я сравнила и два набора собственных стихотворений на русском языке, о которых знала наверняка, что они удовлетворяют семи перечисленным выше критериям. 

Стили разных авторов времён с узаконенной орфографией существенно отличались между собой: коэффициенты корреляции не набирали даже двух девяток после десятичной точки.

Таблица 1. Проверка идеи для произведений с устоявшейся орфографией.

= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
Авторы сравниваемых текстов                ** Коэф. корреляции ** Кто провёл тест?
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
Сверяются два набора текстов одного и того же автора
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
1.СВИФТ (ч.1 – 41,070 слов, ч.2 – 63,709 слов)               ** 0.9993 ** Фэйри
2.ОСТЕН  (ч.1 – 139,987 слов, ч.2 – 141,639 слов)          ** 0.9997 ** Фэйри
3.ЛОНГФЕЛЛОУ (ч.1 – 27,863 слов, ч.2 – 27,409 слов) ** 0.9992 ** Фэйри
4.МИДЛТОН (ч.1 – 101,296 слов, ч.2 – 100,418 слов)   ** 0.9997 ** Фэйри
5.ЛОНГФЕЛЛОУ (2 части по 74,000 слов)                ** 0.9992 ** Кант
6.КАНТ (ч.1 – 8,796 слов, ч.2 – 8,606 слов)                ** 0.9990 ** Кант
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
Сверяются тексты двух разных авторов
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
7.СВИФТ И ЛОНГФЕЛЛОУ                ** 0.9499 ** Фэйри
8.ОСТЕН И ЛОНГФЕЛЛОУ                ** 0.9717 ** Фэйри
9.МИДЛТОН И ЛОНГФЕЛЛОУ                ** 0.9647 ** Фэйри
10.СВИФТ И ОСТЕН                ** 0.9874 ** Фэйри      
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =

Томас Мидлтон (1580 – 1627) – исключение в этом списке, так как является драматургом 17-го века. Но существует большой объём его модернизированных текстов (они-то и сверялись), поэтому были получены хорошие результаты.
   
При иссследовании текстов писателей 16-17 веков, такая точность результатов, как у «орфографических» писателей не ожидалась из-за невыполнения необходимых условий чистоты эксперимента.  Примеры влияния некоторых погрешностей проведения эксперимента на его результаты приведены в таблице 2. Напоминаю, что при сравнении двух наборов текстов одного и того же автора коэффициент корреляции r должен был иметь три девятки после десятичной точки. Но, как видно из таблицы 2, из-за указанных нарушений правил чистоты проведения эксперимента коэффициент корреляции имеет в лучшем случае две девятки после десятичной точки.

Таблица 2. Примеры уменьшающия точности за счёт несоблюдения всех необходимых условий «чистоты» эксперимента.

= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
Авторы      ** Нарушенные правил проведения          ** Коэф.          ** Кто 
текстов      ** эксперимента                ** корреляции ** тестировал?
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
1. МАРЛО              ** Сравниваются ранние произведения        ** 0.9943 ** Фэйри
                с поздними.               
2. ЛОНГФЕЛЛОУ ** Сравниваются ранние произведения        ** 0.9949 ** Кант
                с поздними.               
3. ШЕКСПИР         ** Разные жанры: комедии, трагедии и  ** 0.9986 ** Фэйри
                поэмы.               
4. ЛОНГФЕЛЛОУ ** Влияние малого объёма выборки           ** 0.9882 ** Кант
                (1ч – 6,931слово, 2ч – 6,132 слова),    
                времени написания и неоднородности текста.   
5. КАНТ                ** Влияние малого объёма выборки           ** 0.9969  ** Кант
                (1ч – 3,897слов, 2ч – 4,131 слово).      
6.МАРЛО                ** Использутся орфография печатника    ** 0.9935 ** Кант
(трагедии)                и модернизированная орфография.
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 

А теперь посмотрим на результаты сравнения произведений Марло и Шекспира, приведенные в таблице 3. 

Таблица 3. Марло и Шекспир.

= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
Авторы сравниваемых текстов  ** Коэф. корреляции r ** Кто провёл тест?
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
1.МАРЛО (позднее, 63,687 слов) и ШЕКСПИР (весь, исключая комедии; 470,030 слов) ** r=0.9998 ** Менденхолл (перепроверил Фэйри).
= = =
2.МАРЛО (трагедии «Эдвард II» и «Парижская резня»,  модернизированная орфография; 31,754 слова) и ШЕКСПИР (трагедии «Ромео и Джульетта» и «Ричард III»; 56,444 слова) ** r=0.9972 ** Кант.
= = =
3.МИДЛТОН и ШЕКСПИР (весь, исключая комедии; 470,030 слов) ** r=0.9972 ** Кант.
= = =
4.МАРЛО (трагедии «Эдвард II» и «Парижская резня»,  первичная орфография; 33,393 слова) и ШЕКСПИР (трагедии «Ромео и Джульетта» и «Ричард III»; 56,444 слова) ** r=0.9892 ** Кант.
= = =
5.МАРЛО (поэма «Геро и Леандр»; 6,313 слов) и ШЕКСПИР (поэма «Венера и Адонис»; 9720 слов) ** r=0.9869 ** Кант.
= = =
6.МАРЛО (поэма «Геро и Леандр»; 6,313 слов) и ШЕКСПИР (поэма «Лукреция»; 14,344 слова) ** r=0.9849 ** Кант.
= = =
7.МАРЛО (поэма «Геро и Леандр»; 6,313 слов) и ШЕКСПИР (сонеты; 17,513 слов) ** r=0.9849 ** Кант.
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 

Во-первых, отметим, что включение комедий в тексты Шекспира ухудшает результаты сравнения.  Этот «компьютерный» вывод соответствует действительности.  Фрэнсис Мерез в «Сокровищнице умов» (1598), перечисляя лучших писателей и поэтов елизаветинского периода, графа Оксфорда и Шекспира назвал среди лучших в жанре комедии, а Марло и Шекспира – в жанре трагедии.  Литературные критики дружно отмечают, что комедийные сцены Кристоферу Марло не удавались.  Таким образом Марло может претендовать только на роль «трагедийной части» Шекспира. 

Во-вторых, «сенсационный» результат теста Менденхолла (r=0.9998) получен «усреднением» Шекспира, что неправомерно.  Менденхолл усреднил все 37 пьес, а Питер Фэйри усреднил все «не-комедии», не принимая в расчёт дистанции во времени их написания, жанровые отличия, участие соавторов в некоторых из пьес, редакторские правки. 

Я провела более строгий тест, сравнив последние трагедии Марло «Эдвард II» и «Парижская резня», написанные им в 1593 году перед его предполагаемой смертью, и ближайшие по времени трагедии Шекспира «Ромео и Джульетта» и «Ричард III».  Результат вышел далеко не сенсационным: в случае сравнения текстов Марло с модернизированной орфографией коэффициент корреляции составил r=0.9972, такой же как в случае сравнения пьес Томаса Мидлтона с усреднённым некомедийным Шекспиром. Равенство коэффициентов корреляции в случаях сравнения Шекспир-Марло и Шекспир-Мидлтон показывает, что двух девяток после десятичной запятой недостаточно (нужны три). В противном случае все трое Марло, Мидлтон и Шекспир оказались бы одним и тем же человеком.

Когда для сравнения были использованы те же пьесы Марло, но с первичной орфографией, результат сравнения стал ещё хуже: коэффициент корреляции r=0.9892. Марло не набрал и двух девяток.

Очень интересны результаты сравнения поэм, «Геро и Леандр» Марло[19] (1593) и «Венера и Адонис» Шекспира (1593), написанных ими в одно и то же время.  Обе поэмы – на любовные сюжеты и написаны под большим влиянием эротической лирики Овидия.  Все критерии, кроме негарантированной орфографии и сольного авторства выполняются.  Если один и тот же человек написал обе эти поэмы, коэффициент корреляции должен был быть очень высоким. На самом же деле он – довольно низкий: r=0.9869. 

И совсем плохо обстоит дело, если сравнить поэзию Марло с сонетами Шекспира: r=0.9614.  То есть, к написанию шекспировских сонетов Марло, как и следовало ожидать и если верить методу Менденхолла, непричастен.

В таблице 4 приводятся данные моего сравнения поэзии Шекспира и его современников по методу Менденхолла[20]. 

Таблица 4. Шекспир и другие. Поэзия.

= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
Авторы сравниваемых текстов                ** Коэф. корреляции r 
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
Шекспир «Венера и Адонис» (9,720 слов). Сравнивается с другими произведениями Шекспира и с произведениями других авторов:
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
1. ФРЭНСИС БЭКОН (стихотворения, написанные после 1621 года и переводы псалмов, 3,355 слов) ** r=0.9978.
2. ДЖОН ДОНН (поэмы и стихотворения, 11,635 слов) ** r=0.9976.
3. ШЕКСПИР. «Лукреция» (14,344 слова) ** r=0.9968.
4. ФУЛК ГРЕВИЛЛ (сонеты и другие стихотворения, 5,568 слов) ** r=0.9931.
5. ЭМИЛИЯ ЛЭНЬЕР. «Царь Иудейский» (22,282 слова) ** r=0.9920.
6. ТОМАС ВАТСОН. «Hekotompathia» (13,615 слов) ** r=0.9888.
7. ШЕКСПИР. Сонеты (17,513 слов) ** r=0.9877.
8. КРИСТОФЕР МАРЛО. «Геро и Леандр» (6,313 слов) ** r=0.9869.
9. ШЕКСПИР. «Гамлет» (31,095 слов) ** r=0.9867.
10. ТОМАС САКВИЛЛ. «Горбодук» (6,718 слов) ** r=0.9849.
11. ЭДВАРД ДЕ ВЕР (ранние стихотворения, 4,179 слов) ** r=0.9847.
12. ЭДВАРД ДАЙЕР (стихотворения, 2,921 слово) ** r=0.9809.
13. АРТУР ГОЛДИНГ (переводы Овидия, 6,244 слова) ** r=0.9781.
14. СОНЕТЫ ГОЛУБЯ из сборника «Жертва любви» (7,571 слово) ** r=0.9645.
15. ФРЭНСИС БЭКОН (эссе 1597 года; 5,492 слова) ** r=0.9500.
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
Шекспир «Лукреция» (14,344 слова ). Сравнивается с другими произведениями Шекспира и с произведениями других авторов:
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
1. ФУЛК ГРЕВИЛЛ (сонеты и другие стихотворения, 5,568 слов) ** r=0.9963.
2. ЭМИЛИЯ ЛЭНЬЕР. «Царь Иудейский» (22,282 слова) ** r=0.9959.
3. ДЖОН ДОНН (поэмы и стихотворения, 11,635 слов) ** r=0.9945.
4. ТОМАС САКВИЛЛ. «Горбодук» (6,718 слов) ** r=0.9937.
5. ФРЭНСИС БЭКОН (стихотворения после 1621 года и переводы псалмов; 3,355 слов) ** r=0.9937.
6. ТОМАС ВАТСОН. «Hekotompathia» (13,615 слов) ** r=0.9935.
7. ШЕКСПИР. «Гамлет» (31,095 слов) ** r=0.9891.
8. ЭДВАРД ДЕ ВЕР (ранние стихотворения, 4,179 слов) ** r=0.9890.
9. КРИСТОФЕР МАРЛО. «Геро и Леандр» (6,313 слов) ** r=0.9849.
10. ЭДВАРД ДАЙЕР (стихотворения, 2,921 слово) ** r=0.9827.
11. СОНЕТЫ ГОЛУБЯ из сборника «Жертва любви» (7,571 слово) ** r=0.9767.
12. АРТУР ГОЛДИНГ (переводы Овидия, 6,244 слова) ** r=0.9752.
13. ФРЭНСИС БЭКОН (эссе 1597 года; 5,492 слова) ** r=0.9522.
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
Шекспир. Сонеты (17,513 слов). Сравнивается с другими произведениями Шекспира и с произведениями других авторов:
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
1. ЭДВАРД ДЕ ВЕР (ранние стихотворения, 4,179 слов) ** r=0.9986.
2. ТОМАС ВАТСОН. «Hekotompathia» (13,615 слов) ** r=0.9971.
3. ТОМАС САКВИЛЛ. «Горбодук» (6,718 слов) ** r=0.9953.
4. ШЕКСПИР. «Гамлет» (31,095 слов) ** r=0.9935.
5. СОНЕТЫ ГОЛУБЯ из сборника «Жертва любви» (7,571 слов) ** r=0.9895.
6. ДЖОН ДОНН (поэмы и стихотворения, 11,635 слов) ** r=0.9846.
7. ФУЛК ГРЕВИЛЛ (сонеты и другие стихотворения, 5,568 слов) ** r=0.9838.
8. ФРЭНСИС БЭКОН (стихотворения после 1621 года и переводы псалмов; 3,355 слов) ** r=0.9833.
9. ЭМИЛИЯ ЛЭНЬЕР. «Царь Иудейский»  (22,282 слова) ** r=0.9827.
10. ЭДВАРД ДАЙЕР (стихотворения, 2,921 слово) ** r=0.9713.
11. КРИСТОФЕР МАРЛО. «Геро и Леандр» (6,313 слов) ** r=0.9614.
12. АРТУР ГОЛДИНГ (переводы Овидия, 6,244 слова) ** r=0.9576.
13. Фрэнсис Бэкон (эссе 1597 года; 5,492 слова) ** r=0.9553.
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 

ТРИ ДЕВЯТКИ не набрал никто. Если доверять использованию метода Менденхолла для авторов 16-17 веков, то из таблицы 4 можно было бы сделать два вывода:

1). Автора двух шекспировских поэм и сонетов среди перечисленных выше кандидатов нет. Причём интересующий нас Кристофер Марло – не из первых в списках. Коэффициенты корреляции шекспировских и его произведений не из самых высоких: в сравнении с «Венерой и Адонисом» его поэзия на 8 месте, с «Лукрецией» - на 9 месте, а с шекспировскими сонетами – на 11 месте.

2). Поэмы «Венера и Адонис» и «Лукреция», шекспировские сонеты и пьесу «Гамлет» написал не один человек (Шекспир), а четыре разных человека. Заведома ложный вывод!

В отношении поэм «Венера и Адонис» и «Лукреция» все шекспироведы, включая нестратфордианцев, имеют единое мнение: их написал один и тот человек. То же самое подразумевал и современник Шекспира Фрэнсис Мерез, когда писал о том, что молодое поколение увлекается ШЕКСПИРОВСКОЙ поэмой «Венера и Адонис», люди постарше предпочитают ЕГО «Лукрецию», а среди друзей Шекспира по рукам ходят ЕГО «сладостные сонеты».

Короче, мой вывод таков: метод Менденхолла для установления идентичности авторов текстов конца 16 века – начала 17 века в большинстве случаев не работает.

Предварительно унифицировать исходные данные невозможно, так как при их обработке теряется индивидуальные привычки авторов, то есть, те самые «отпечатки пальцев», на которых настаивал Менденхолл. То есть, критерий «Единые правила правописания сравниваемых текстов» обеспечить невозможно.

Критерий «Необходимый объём выборки» можно обеспечить не для всех авторов. Например, объёмы ранней поэзии Эдварда де Вера (4,179 слов)  и поэзии Эдварда Дайера (2,921 слово) очень малы. На таких объёмах выборки статистические методы сравнения текстов литературных произведений обычно не работают, особенно когда не выполняются ещё и другие критерии чистоты эксперимента. Так в случае ранней поэзии де Вера условие «Однородности текста» для набора его разрозненных стихотворений тоже не соблюдается. С другой стороны, если взять часть поэмы «Геро и Леандр» (6,313 слов), которую успел написать Кристофер Марло, то у неё и объём побольше, и критерий «Однородности текста» выполняется.

В случае сравнения поэмы «Геро и Леандр» Марло с «Венерой и Адонисом» Шекспира выполняются и все остальные критерии:

- Совпадение времени написания сравниваемых текстов (1592-93гг).
- Совпадение жанров (поэмы).
- Совпадение тем (любовная тематика). 
- Сольное авторство исследуемых произведений.

Эти два конкретные произведения предоставляют нам возможность провети почти чистый тест. Почему «почти»? Потому, что мы не можем знать, как поработали над авторскими рукописями корректоры и проверяли ли авторы свои тексты перед их публикацией.

С указанной выше оговоркой, полученный коэффициент корреляции r=0.9869 отражает реальное положение вещей. ТРЁХ ДЕВЯТОК после десятичной точки нет, и можно считать, что Кристофер Марло не является автором шекспировской поэмы «Венера и Адонис».

С поэмами разобрались, давайте вернёмся к трагедиям, а именно: приведём анологичное сравнение для трагедий Шекспира не только с трагедиями Кристофера Марло (как было сделано выше), но и Томаса Кида (таблица 5).

Таблица 5. Шекспир, Марло и Кид. Трагедии. [20B]

= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
Авторы сравниваемых текстов                ** Коэф. корреляции r 
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
Трагедии Шекспира «Ромео и Джульетта» и «Ричард III» (суммарный текст –
56,444 слова) сравниваются с трагедиями Марло и Кида, а также с «Гамлетом»:
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
1. Кристофер Марло (трагедии «Эдвард II» и «Парижская резня»; 31,754 слова)
** r=0.9972.
2. Уильям Шекспир («Гамлет»; 31,095 слов) ** r=0.9962.
3. Томас Кид («Испанская трагедия» и «Трагедия Солимана и Перседы»; 37,126
слов) ** r=0.9874.
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
«Гамлет» Шекспира (31,095 слова) сравниваются с трагедиями Марло и Кида:
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
1. Кристофер Марло (трагедии «Эдвард II» и «Парижская резня»; 31,754 слова)
** r=0.9981.
2. Томас Кид («Испанская трагедия» и «Трагедия Солимана и Перседы»; 37,126
слов) ** r=0.9933.
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 

В таблице 5 ТРЁХ ДЕВЯТОК нет ни у кого. Ни Кристофер Марло, ни Томас Кид, если довериться «аксиоме» Менденхолла, не являются Шекспиром. По крайней мере, однозначный вывод из полученных результатов теста сделать нельзя.

Трагедии Марло и Кида безусловно оказали большое влияние на Шекспира.  Это согласуется и с результатами теста. Только трагедии Кида ближе к «Гамлету», особенно «Испанская трагедия» (r=0.9933), чем к «Ромео и Джульетте» и «Ричарду III» (r=0.9874).

Согдасно моей теории, оба они (Кид и Марло) были соавторами графа Оксфорда на раннем этапе его драматического творчества.  Шекспировская пьеса «Генрих VI» была написана в соавторстве с «университетскими умами».  А в «Тите Андронике» заметны неоспоримые признаки состязания Шекспира с кровавой драмой Кида «Испанская трагедия».

Таблица 6. Шекспир и другие. Комедии.

= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
Авторы сравниваемых текстов                ** Коэф. корреляции r 
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
Шекспир («Комедия ошибок» и «Виндзорские кумушки»; 39,430 слов, модернизированная орфография) сравнивается с комедиями Лили, Грина, Марло и Манди:
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
1. Джон Лили («Эндимион», модернизированная орфография, 19,144 слова) ** r=0.9917.
2. Роберт Грин («Альфонс, король Арагонский», 16,033 слова, модернизированная орфография) ** r=0.9913.
3. Кристофер Марло ( «Мальтийский еврей» - первые два акта, 8,128 слов, , модернизированная орфография [20C]) ** r=0.9898.
4. Энтони Манди («Падение Роберта, графа Хантингтона», первичная орфография, 22,576 слов) ** r=0.9796.
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 

До нас не дошли комедии Марло, если таковые были, но его пьесу «Мальтийский еврей» современные критики отнесли к разряду чёрных комедий[21].  Поэтому именно её я выбрала для сравнения с комедиями Шекспира.  Но только первые два акта, которые полностью принадлежат Марло.  «В последних трех [актах] похозяйничали посторонние руки, притом неумелые», как пишет проф. А. К. Дживелегов[22].  С ним согласен и знаток творчества Кристофера Марло А. Т. Парфёнов[23]:

«Третий, четвертый и пятый акты резко отличаются от двух первых огрублением образов и искусственностью ситуаций». 

Результаты теста, приведенные в таблице 6, только подтвердили мнение специалистов по творчеству Кристофера Марло о том, что комедийные сцены не были его «коньком», в отличие от Шекспира.

***

Сходство стилей Марло и Шекспира – основной аргумент марловианцев, поэтому невольные попытки преувеличить это сходство не ограничились тестами Менденхолла и Тейлора. 

Особенно нашумевшими стали результаты компьютерных тестов, проведенных студентами калифорнийского колледжа Кларемонт МакКенна в 1991 году.   Втечение 3-х лет они сравнивали стили 58 кандидатов в Шекспиры (Фрэнсиса Бэкона, Барнаби Барнса, Роберт Бёртона, Джона Донна, Эдварда Дайера, графа Оксфорда,  королевы Елизаветы, Кристофера Марло, Сэмюела Дэниела, Майкла Дрейтона, Томаса Саквилла, Мэри Сидни, Филипа Сидни, графа Эссекса, Томаса Нэша, Уолтера Рэйли, Уильяма Герберта, Фулка Гревилла и других) со стилем Шекспира и пришли к выводу, что

«ни Фрэнсис Бэкон, ни Кристофер Марло, ни Эдвард де Вер, 17-й граф Оксфорд, ни в коей мере не приближаются к Шекспиру»[24]. 

Поскольку результаты теста сформулировали в своей статье Вард Эллиотт (профессор в области американской политики) и Роберт Валенза (профессор математических и гуманитарных наук), тест стал называтся тестом Эллиотта-Валензы.

Экспериментаторы подвергли статистическому анализу частоту использования:

- распостранённых слов (common words), таких как «о, опять, способы и слова» (about, again, ways, и word);
- слов, написанных через дефис (hyphenated compound words);
- предаточных предожений (relative clauses);
- слов и предложений различной длины (word- and sentence-length);
- «открытых» и «женских» концовок предложений[25] (open and feminine endings).

Шекспир употреблял слова, написанные через дефис, а также «открытые» и «женские» концовки чаще других своих современников, а предаточные предложения – реже.

Кандидатуру графа Оксфорда тестирующие отвергли безапелляционно и окончательно.  Не вдаваясь в подробности, можно сразу отметить, что в отношении Оксфорда результаты теста нельзя считать «окончательным решением шекспировского вопроса» из-за малого объёма выборки и того обстоятельства, что в распоряжении экспериментаторов были только ранние стихотворения и песни де Вера разной формы (не соблюдение критерия однородности), первые пробы его поэтического пера. 

Психологическому анализу могут помочь даже две строки, написанные автором.  Что касается статистических методов, тут возникает совсем другая картина – они требуют достаточно больших объёмов и соблюдения всех условий чистоты эксперимента. 

С обоснованной критикой в адрес Эллиотта и Валензы выступили оксфордианцы Ричард Уэйлен и Джон Шахан в своей статье «Сравнивать яблоки с апельсинами...»[26], на которую не замедлили ответить их оппоненты, настаивая на заключительных выводах своего сравнения «гусеницы с бабочкой».  Добавим, что песни и стихи де Вера сравнивались с блоками шекспировского текста, в который входила и лирическая, и драматическая поэзия Шекспира (не соблюдение критерия единства жанра).  Таким образом, не соблюдено было большинство критериев чистоты эксперимента, в том числе и требование устойчивой орфографии.

В отношении Марло их эксперимент, также не был чистым, но в отличие от «раннего» Оксфорда, Марло оставил нам образцы своего драматического и поэтического творчества, которые сделали его прославленным, и довольно большого объёма, то есть, в данном случае, у группы из Кларемонта имелся шанс сравнить «бабочку с бабочкой».  Сравнение было правомочным, а в результате теста они отвергли сходство стилей Марло и Шекспира.

Другая группа студентов из американского колледжа Дартмаут в 2007 году осуществила компьютерное сравнение стилей Шекспира, Марло, Бэкона и Оксфорда и категорически отвергла кандидатулы Марло и Бэкона[27].  Зато на основании теста «Доля уникальных слов в словаре автора» экспериментаторы признали Эдварда де Вера весьма вероятным кандидатом.  При сравнении поэм и сонетов Шекспира и стихотворений де Вера, искомые доли составили 0.30 для Шекспира и 0.31 для Эдварда де Вера.  В то время как сравнение драматических произведений Марло и Шекспира дало следующие результаты: Шекспир – 0.16, Марло – 0.20.

Интересное исследование эффективности различных методов статистического определения авторства произведений провёл Джек Грив в рамках своего дипломного тезиса на степень Мастера искусств «Количественное определение авторства: история и оценка методов»[28].  Джек Грив пришёл к выводу, что все рассмотренные им статистические алгоритмы дают доставерные результаты с точностью в 75%, а во многих случаях гораздо выше, то есть, такие методы определения авторства произведений, с его точки зрения, очень перспективны.

Параметры, лежащие в основе протестированных Джеком Гривом статистических методов, представлены в приведенном списке, начиная с наиболее эффективных методов – к менее эффективным:

1). Частота употребления функциональных слов.
2). Частота использования знаков пунктуации.
3). Частота использования графем[29] и комбинаций графем со знаками пунктуации (n-gram алгоритмы).
4). Длина слова.
5). Длина предложения.
6). Богатство словарного запаса.
7). Частота определённых слов в определённом месте предложения (например, первое или последнее слово предложения).

Наиболее высокие результаты дали комбинированные методы, тестирующие несколько параметров одновременно. Следует также отметить, что метод Менденхола, сравнивающий спектры длин слов, занял только 4-е место в списке эффективности Джека Грива.  А поскольку методы, связанные с пунктуацией (2-е и 3-е места), не работают для текстов шекспировского периода, то подход Менденхолла оценён Гривом довольно высоко. Для этого времени более эффективными являются только методы, основанные на оценке частоты употребления функциональных слов.

Рабочим материалом для эмпирических выводов Джека Грива послужили тексты 40 журналистов, печатавшихся в период с мая 2003г по январь 2005г.  Методология определения авторства текстов писателей 16-17 веков отличается от методологии для их собратьев 20-21 веков.  Здесь нужно специальные исследования, ориентированные на эпоху с произвольной орфографией и пунктуацией.  Ясно, что в случае исследования текстов шекспировского периода на «методы-победители» (частота использования знаков пунктуации, графем и их комбинаций) положиться нельзя.  За исключением, может быть, особых случаев, когда комбинации графем и знаки препинания подобраны «с большим умом» и учётом специфики конкретных текстов.

Для тех читателей, которые пожелают заняться стилометрическим анализом вплотную, рекомендую также обратить внимание на методы доктора Варрена Б. Остина из Техаса[30], с помощью которых он установил, что «Сокровищница ума» Роберта Грина была на самом деле была сфабрикована Генри Четтлом. Перечисляю их:

   - Лексические тесты:
       1.  Любимые автором слова.
       2.  Часто употребляемые слова.
       3.  Необычные слова.

   - Морфологические тесты:
       1.  Приставки.
       2.  Суффиксы.
       3.  Возвратные местоимения.
       4.  Деепричастия множественного числа.
       5.  Сложные слова.

   - Синтаксические тесты:
       1.  Скобки.
       2.  Порядок следования слов в предложении.
       3.  Инверсии.

Стилометрический анализ текстов 16-17 веков – перспективное направление исследований, но к его результатам нужно относится с осторожностью, как к рекомендациям, а не, как к истине в последней инстанции.

В заключение этой статьи хочу рассказать о моём свежем опыте общения с искусственным интеллектом (AI ChatGpt). Я попросила его сравнить творчество Уильяма Шекспира и Кристофера Марло статистически, и получила следующий результат, который излагаю в моём сокращённом варианте [30B]:
1). Тест на лексическое богатство (отношение уникальных слов к общему числу) показал, что у Шекспира выше вариативность лексики, в то время как у Марло более ограниченный, но «сильный» словарь, то есть, Шекспир статистически разнообразнее.
2). Стилометрический тест на частотные (функциональные) слова (function words “and, the, of, to” и т.п.) – метод Burrows’s Delta. Тексты сравниваются по нормализованным частотам служебных слов. В итоге тексты Марло кластеризуются отдельно от Шекспира, но некоторые ранние пьесы Шекспира ближе к Марло.
3). Сравнение метрики и синтаксиса в белых стихах. У Марло более регулярный ямбический пентаметр, меньше отклонений. У Шекспира больше вариаций (стихотворных переносов, когда фраза не заканчивается в конце строки, а перетекает в следующую строку без паузы; женских окончаний). Иными словами, у Марло - «строгий метр», а у Шекспира - «разговорная гибкость».
4). Сравнение синтаксической сложности (средняя длина предложения, глубина синтаксического дерева, число придаточных). У Шекспира более сложные конструкции, у Марло более прямолинейный синтаксис.
5). Частотный анализ n-грамм. Сравниваются биграммы (2-словные сочетания) и триграммы (3-словные сочетания). У Марло устойчивые риторические конструкции, а у Шекспира больше уникальных комбинаций.

6). Частотные «подписи» авторов. У Марло высокая доля абстрактных существительных, риторических повторов, меньше разговорных вставок, а у Шекспира  больше местоимений, разговорных элементов, идиом.
В конце всех сравнений ИИ сделал следующий итоговый вывод:
«Статистика подтверждает литературоведческую интуицию. У Кристофера Марло риторический, монументальный стиль и «ораторская поэзия», а у Уильяма Шекспира  драматический, гибкий, разговорный стиль, имитация живой речи.
Также статистически было показано, что ранний Шекспир ближе к Марло, а поздний Шекспир резко от него отдаляется».
***

Примечания.
16. Farey. Глава 8 “Stylometrics And Parallelisms,” appendix III и IV. См. также:
- Mendenhall, T. C. “The Characteristic Curves Of Composition,” Science, Vol. 9, No. 214 (Mar. 11, 1887), pp. 237-249.
- Mendenhall, T. C. "A Mechanical Solution of a Literary Problem," The Popular Science Monthly 60, 1901, pp. 97–105.
17. Коэффициент корелляции Пирсона – мера тесноты связи между двумя случайными величинами при наличии линейной зависимости между ними. Это термин, применяемый в теории вероятности и математической статистике.
Случайными величинами в нашем случае являются частоты слов различной длины в исследуемых текстах. Например, в поэме Шекспира «Венера и Адонис» 2.49% одно-буквенных слов, 14.14% - двух-буквенных, 23.28% трёх-буквенных слов, 23.57% - четырёх-буквенных и т.д. Этот набор значений случйной велины я назвала «процентной планкой». У поэмы Марло «Геро и Леандр» своя «планка процентов»: 1.82%, 13.05%, 23.33%, 19.14% и т.д. Сравнивая эти две планки, то есть, вычисляя коэффициент корреляции между двумя наборами чисел, мы определяем степень их родства и сходства.
18. «История английской литературы», т.I, ч.2, о.III., гл. 6(5).
19. В рассмотрение брались только две части поэмы «Геро и Леандр», написанные Марло.  Окончание поэмы, дописанное Джорджем Чапменом исключено из рассмотрения.
20. Данные таблиц 4-6 получены в результате экспериментов, поставленных И. Кант в 2009 году. Помощью искусственного интеллекта тогда не было возможности воспользоваться. Предварительно обработанные исходные тексты (были расставлены точки между словами для их точного распознавания) я загрузила в таблицы базы данных MS Access, а вычисления производились с помощью SQL-запросов (SQL-queries). Вычислялись также интервалы достоверности (ид). Например для однородного, одножанрового текста в 2,000 слов ид=0.0010, в 3,000 слов ид=0.0008, в 4,000 слов  ид=0.0007, в 5-6 тысяч слов ид=0.0006, в 7-9 тысяч слов ид=0.0005,…, в 85,000-700,000 слов ид=0.0001.
20B. Для сравнения в таблице 5 использовались тексты с модернизированной орфографией.
20C. Пьеса «Мальтийский еврей» была зарегистрирована в 1594 году, но самым ранним изданием, дошедшим до нас, является кварто 1633 года. Тексты модернизированных изданий почти не отличаются от текста этого кварто.
21. Greenblatt, 265; Sheri E. Metzger “The Jew of Malta (Criticism)”; Charles Isherwood
“O, Villain, Villain, Loosed in Elizabethan Minds” и др.
22. «История английской литературы», т.I, ч.2, о.III. А. К. Дживелегов, гл. 6(3).
23. Парфенов.
24. Elliott; Valenza.
25. «Открытая» концовка – поэтическая строчка не заканчивается ни одним из знаков пунктуации. «Женская концовка» - поэтическая строчка заканчивается безударным слогом.
26. Shahan; Whalen.
27. Seletsky; Huang; Henderson-Frost.
28. Grieve.
29. Графема (лингвистическое понятие) - минимальная единица письменной системы языка, т.е. буква алфавита.
30. Looney, v. II, стр. 346–355.
30B. В своём ответе ИИ опирается на следующие источники:
1). Метод Burrows’s Delta:
Burrows, J. F. “‘Delta’: A Measure of Stylistic Difference and a Guide to Likely Authorship,” Literary and Linguistic Computing, 2002.
2). Крупные корпусные исследования:
- Craig, H., Kinney, A. F. (eds.) “Shakespeare, Computers, and the Mystery of Authorship,” 2009. ISBN: 9780521516235.
- Elliott, W., Valenza, R. “And Then There Were None: Winnowing the Shakespeare Claimants,” 2007.
3). Конкретно Шекспир против Марло:
Hope, Jonathan. “The Authorship of Shakespeare’s Plays: A Socio-Linguistic Study,” Cambridge: Cambridge University Press, 1994.
4). Метрика и белый стих:
Tarlinskaja, Marina. “Shakespeare and the Versification of English Drama, 1561-1642,” 2014.
5). Работы по кластеризации и стилометрии:
- Eder, Maciey. “Does Size Matter? Authorship Attribution, Small Samples, Big Problem,” 2015.
- Maciej Eder, Jan Rybicki, Mike Kestemont. “Stylometry with R: A Package for Computational Text Analysis,” 2016.


*********************************************************
<> <> <> <> <> <> <> <> <> <> <> <> <> <> <> <> <> <>   
*********************************************************