Тройки слов в тексте

# Ищем тройки связанных слов в тексте и считаем их повторы ..



import re
from collections import Counter

# Функция для очистки текста от знаков пунктуации, кроме дефисов
def clean_text(text):
    # Заменяем все знаки пунктуации, кроме дефисов, на пробелы
    cleaned_text = re.sub(r'[^\w\s-]', ' ', text)
    return cleaned_text

# Функция для подсчета повторов троек слов
def count_triple_words(text):
    words = text.split()
    triples = [tuple(words[i:i+3]) for i in range(len(words)-2)]
    return Counter(triples)

# Чтение файла
file_path = 'фразы.txt'
with open(file_path, 'r', encoding='utf-8') as file:
    text = file.read()

# Очистка текста от знаков пунктуации, кроме дефисов
cleaned_text = clean_text(text)

# Подсчет повторов троек слов
triple_counts = count_triple_words(cleaned_text)

# Вывод списка троек, которые повторяются два и более раз
for triple, count in triple_counts.items():
    if count >= 2:
        print(f"{' '.join(triple)} - {count}")





вывод триплетов:

на самом деле - 243
о том что - 138
в нашем мире - 132
в том что - 131
это может быть - 117
это не так - 115
мы не можем - 112
не так просто - 110
- но это - 103
так и есть - 88
но всё же - 88
для того чтобы - 82
- так как - 81
- но не - 76
в нашей жизни - 74
в этом смысле - 70
о том как - 70
то что мы - 69
не может быть - 68
что это за - 64
из того что - 63
я думаю что - 62
у нас есть - 62
- и это - 61
что мы можем - 58
так или иначе - 58
не так как - 57
всё может быть - 56
может быть и - 56
не значит что - 56
я не знаю - 54
может привести к - 54
всё то что - 53
и не так - 53
что мы не - 52
так как это - 52
и есть - - 51
это так и - 50
что происходит в - 50
о чём ты - 50
- но всё - 50
того что мы - 49
как это можно - 48
что у нас - 48
- это не - 48
- то это - 48
что из этого - 47
что то новое - 46
что в этом - 46
так - но - 46
на то что - 46
не так и - 45
это не значит - 45
и должно быть - 44
- но мы - 44
с точки зрения - 44
и как это - 43
мы не знаем - 43
не просто так - 43
- а что - 42
это всё не - 42
на первый взгляд - 42
всё не так - 42
- потому что - 41
что нам нужно - 40
есть на самом - 40
и так - - 40
- но я - 40
в данном случае - 40
- как это - 39
то что нам - 38
и что это - 38
но это не - 38
может быть - - 38
но при этом - 38
это не совсем - 37
и так далее - 37
- но что - 37
- но как - 37
есть - но - 36
но на самом - 36
на этот вопрос - 36
до сих пор - 36
так всё и - 35
в своей основе - 35
что это так - 34
всё так и - 34
ты думаешь что - 34
понять - что - 34
ты так думаешь - 33
что это такое - 33
думаю что это - 33
это так - - 33
об этом - - 33
что это не - 33
мне кажется что - 33
просто так - - 33
как ты думаешь - 32
так и должно - 32
это должно быть - 32
это и есть - 32
так просто - - 32
в различных областях - 32
друг с другом - 32
мозга и сознания - 32
о чём то - 31
это как то - 31
что то не - 31
что может быть - 31
всё что мы - 31
к тому что - 31
так как мы - 31
- но в - 31
с тем что - 31
что нам известно - 30
это можно сделать - 30
происходит в мире - 30
не очень то - 30
как это работает - 30
что это всё - 30
самом деле - - 30
о чём я - 30
важную роль в - 30
что мы знаем - 30
это не просто - 30
- я не - 29
но как это - 29
в этом есть - 29
это и не - 29
самом деле это - 29
- что мы - 29
не знаю что - 28
не так - - 28
не так уж - 28
в чём то - 28
которые могут быть - 28
а что ты - 27
в этом нет - 27
- что это - 27
ни о чём - 27
не так много - 27
- а значит - 27
- а то - 27
как это всё - 27
- или это - 27
- но на - 27
это ещё не - 26
почему ты так - 26
почему это так - 26
так просто как - 26
это всё может - 26
просто - но - 26
много - но - 26
но не всегда - 25
и всё же - 25
в этом случае - 25
как мне кажется - 25
тем не менее - 25
как мы можем - 25
не так сложно - 25
вы думаете что - 25
- то что - 25
так же как - 25
- это как - 25
модели мозга и - 25
компьютерной модели мозга - 25
в зависимости от - 25
не совсем понятно - 24
я об этом - 24
это всё так - 24
просто так кажется - 24
не совсем так - 24
- это всё - 24
всё что угодно - 24
нам кажется что - 24
- не так - 24
что ты можешь - 24
всё в нашем - 24
в нашем сознании - 24
если что то - 24
а как это - 23
что не так - 23
то это не - 23
для этого нужно - 23
а что это - 23
было до этого - 23
что ты знаешь - 23
должно быть - - 23
быть и не - 23
ты имел ввиду - 23
всё должно быть - 23
так - то - 23
Как вы думаете - 23
не можем понять - 23
я не могу - 23
это то что - 23
можем ли мы - 23
так уж и - 22
это наверно не - 22
может быть не - 22
что нас ждёт - 22
- если конечно - 22
- но он - 22
не так важно - 22
весь наш мир - 22
от того что - 22
- то есть - 22
всего того что - 22
в этой области - 22
не то что - 21
всё и есть - 21
у тебя есть - 21
на этот счёт - 21
если это так - 21
всё же это - 21
совсем не так - 21
того что нам - 21
это по сути - 21
включает в себя - 21
это на самом - 20
это просто так - 20
как это происходит - 20
- как ты - 20
кажется что это - 20
- о чём - 20
о чём это - 20
мы должны знать - 20
наверно не так - 20
понять о чём - 20
всё же не - 20
если это не - 20
- и не - 20
Тем не менее - 20
может быть достаточно - 20
- а не - 20
но для этого - 20
так и было - 19
как это может - 19
может это и - 19
что это может - 19
так думаешь - - 19
мы можем сделать - 19
не более того - 19
в жизни - - 19
может быть это - 19
не так очевидно - 19
не должно быть - 19
мы можем найти - 19
- что в - 19
том что мы - 19
- ведь это - 19
так ли это - 19
как устроен наш - 19
- но при - 19
зависит от того - 19
в том числе - 19
новые возможности для - 19
с другими людьми - 19
и при этом - 18
и было задумано - 18
этом нет ничего - 18
- так и - 18
может быть так - 18
но я не - 18
так - а - 18
в этом такого - 18
как это возможно - 18
с нами происходит - 18
если мы не - 18
или что то - 18
это всего лишь - 18
по этой теме - 18
то что я - 18
и не только - 18
устроен наш мир - 18
нужно как то - 18
не известно - - 18
значит что мы - 18
- и тогда - 18
мы можем понять - 18
ИИ - это - 18
- а потом - 18
так может быть - 17
это не очень - 17
нам не известно - 17
что то ещё - 17
ну и что - 17
- и что - 17
понятно - но - 17
- а я - 17
это есть на - 17
о чём мы - 17
того что происходит - 17
- но кто - 17
и не нужно - 17
что то такое - 17
в любом случае - 17
- если это - 17
какой то смысл - 17
- если ты - 17
это всё же - 17
но мы не - 17
- нам нужно - 17
- но может - 17
но это всё - 17
нашем мире - - 17
как это делают - 17
- нужно просто - 17
не знаем как - 17
в том смысле - 17
при этом не - 17
могут привести к - 17
заключается в том - 17
может быть в - 16
как то понять - 16
и что в - 16
быть и так - 16
- а вот - 16
что важно для - 16
это можно понять - 16
- я думаю - 16
чём ты говоришь - 16
- а как - 16
наверно так и - 16
ты знаешь что - 16
мне об этом - 16
никто не знает - 16
всё так просто - 16
не всё так - 16
что то происходит - 16
что это значит - 16
то что нужно - 16
- это уже - 16
в этих словах - 16
- то нужно - 16
только на первый - 16
у вас есть - 16
не знаем что - 16
- то мы - 16
это уже не - 16
происходит в жизни - 16
- но они - 16
как он работает - 16
что в нём - 16
о чём идёт - 16
в первый раз - 16
чтобы понять как - 16
- чтобы не - 16
- и мы - 16
обработки естественного языка - 16
может использоваться для - 16
В настоящее время - 16
искусственного интеллекта и - 16
а что нам - 15
и в чём - 15
можно как то - 15
всё что я - 15
я так и - 15
так и будет - 15
что и как - 15
разве не так - 15
возможно что это - 15
это довольно просто - 15
и что из - 15
- это наверно - 15
в этой строке - 15
что то важное - 15
всё что нам - 15
это не может - 15
так как ты - 15
это наверно и - 15
о чём здесь - 15
об этом не - 15
- это просто - 15
это возможно - - 15
- это когда - 15
хоть как то - 15
что мы должны - 15
самом деле всё - 15
- или мне - 15
может и не - 15
что и так - 15
что угодно - - 15
как мы думаем - 15
не знаем - - 15
- но и - 15
- что нам - 15
что такое сознание - 15
сложно - но - 15
нам не нужно - 15
у нас нет - 15
больших объемов данных - 15
это скорее всего - 15
то что происходит - 15
сознание - это - 15
наш мир и - 15
в то что - 15
на вопрос о - 15
мы думаем что - 15
в будущем - - 15
и т д - 15
- это так - 14
если бы мы - 14
к чему мы - 14
а что не - 14
я не понял - 14
что ты не - 14
одно и тоже - 14
в этом наверно - 14
а что в - 14
это такое - - 14
- разве не - 14
что я тебе - 14
не совсем то - 14
в мире всё - 14
в этом не - 14
можно сказать что - 14
не так ли - 14
я что то - 14
что будет дальше - 14
так как нам - 14
что было до - 14
можно было бы - 14
что мы хотим - 14
- может это - 14
нам нужно понять - 14
в чём здесь - 14
- это же - 14
что сейчас происходит - 14
- как я - 14
слов и фраз - 14
нужно понять как - 14
или это просто - 14
что реально происходит - 14
думаете что важно - 14
как нам кажется - 14
что то в - 14
то в этом - 14
- пока не - 14
быть не так - 14
ответ на вопрос - 14
- но так - 14
том что это - 14
это значит что - 14
намного больше чем - 14
жизни - это - 14
через некоторое время - 14
уверены в том - 14
- мы не - 14
связано с тем - 14
- но потом - 14
жизни и разума - 14
мир вокруг нас - 14
в конечном итоге - 14
И всё же - 14
Создание компьютерной модели - 14
то время как - 14
в свою очередь - 14
в настоящее время - 14
машинного обучения и - 14
в своей жизни - 13
это всё что - 13
так наверно и - 13
что с того - 13
что уже было - 13
а что такое - 13
- что ты - 13
в котором мы - 13
нет ничего особенного - 13
как это обычно - 13
- а ты - 13
- так всё - 13
ещё не всё - 13
что ты имел - 13
- не более - 13
есть и другие - 13
на разные темы - 13
в этом и - 13
происходит с нами - 13
что с нами - 13
- или нет - 13
так и просто - 13
то что ты - 13
мне не известно - 13
человека - это - 13
не так то - 13
а что нет - 13
что у тебя - 13
что нам уже - 13
а то я - 13
и не стоит - 13
в некоторых случаях - 13
здесь может быть - 13
а в чём - 13
что ты думаешь - 13
быть - но - 13
сих пор не - 13
не стоит думать - 13
так и не - 13
пока мы не - 13
так сложно - - 13
это так просто - 13
по крайней мере - 13
только в том - 13
понять не так - 13
важно - но - 13
так как и - 13
- это и - 13
то - что - 13
- в этом - 13
того что ты - 13
чём идёт речь - 13
- но только - 13
в некотором смысле - 13
- это то - 13
происходит в нашем - 13
представление о том - 13
до того как - 13
кажется что мы - 13
- но нам - 13
нам лучше понять - 13
в полной мере - 13
в повседневной жизни - 13
во всех деталях - 13
Если у вас - 13
ответы на вопросы - 13
и сознания может - 13
в то время - 13
большие объемы данных - 13
об этом и - 12
на данном этапе - 12
пусть будет так - 12
и что тогда - 12
что можно сказать - 12
так - я - 12
чём ты сейчас - 12
это понять лучше - 12
узнать об этом - 12
так - и - 12
ты об этом - 12
так просто понять - 12
я бы сказал - 12
что тебе известно - 12
или нет - - 12
того что было - 12
совсем то что - 12
так - это - 12
мы можем это - 12
если конечно это - 12
так кажется - - 12
есть что то - 12
может быть всё - 12
наверно и не - 12
но что конкретно - 12
но в целом - 12
не знаю как - 12
из всего этого - 12
пока что не - 12
так - что - 12
думаешь об этом - 12
- и как - 12
в данный момент - 12
у нас уже - 12
всё что ты - 12
или не так - 12
это совсем не - 12
том что в - 12
понимаешь о чём - 12
должно быть в - 12
происходит в нашей - 12
- это лишь - 12
стоит думать что - 12
- как и - 12
может быть использован - 12
нашей жизни - - 12
в мире - - 12
- но нужно - 12
между человеком и - 12
мы об этом - 12
понять как работает - 12
в этом вопросе - 12
в том случае - 12
то что уже - 12
что всё так - 12
- но мне - 12
- но почему - 12
что- то новое - 12
и это не - 12
- но для - 12
те вещи которые - 12
этом - но - 12
рано или поздно - 12
вопрос о том - 12
понять как это - 12
это во многом - 12
что это просто - 12
связаны между собой - 12
всё что происходит - 12
наш мир - - 12
скорее всего не - 12
- так чтобы - 12
Для того чтобы - 12
в соответствии с - 12
том что происходит - 12
связанных между собой - 12
к тому чтобы - 12
могут помочь в - 12
Мы не можем - 12
могут быть использованы - 12
на основе больших - 12
Это может включать - 12
да - это - 11
не всегда это - 11
хочется чего то - 11
- не знаю - 11
- я это - 11
но это только - 11
может и так - 11
я так не - 11
всё и так - 11
быть не должно - 11
а что - - 11
ты можешь это - 11
а что тебе - 11
об этом что - 11
Что для вас - 11
ты знаешь про - 11
понял о чём - 11
как то так - 11
об этом я - 11
это не всегда - 11
не всё что - 11
ты думаешь - - 11
как дела - - 11
- и всё - 11
как работает ИИ - 11
о чём - - 11
об этом ещё - 11
и есть то - 11
мы что то - 11
и будет - - 11
я и не - 11
ты не знаешь - 11
так обычно и - 11
- об этом - 11
это так важно - 11
и как он - 11
то что это - 11
нет - это - 11
не знает что - 11
нужно понять - - 11
знаем ли мы - 11
не знаю - - 11
- но кажется - 11
ответ на этот - 11
происходит что то - 11
то это может - 11
как можно подумать - 11
так много что - 11
я сейчас думаю - 11
по этому поводу - 11
- ты можешь - 11
когда что то - 11
но то что - 11
подумать об этом - 11
так важно - - 11
быть какая то - 11
ты можешь сказать - 11
то же время - 11
мы с тобой - 11
изменить наш мир - 11
что-то новое - - 11
то о чём - 11
тому что мы - 11
довольно просто - - 11
на что способен - 11
- что реально - 11
быть не может - 11
не могу понять - 11
какие то новые - 11
понять в чём - 11
всё как то - 11
на том что - 11
что уже есть - 11
то что он - 11
но мы должны - 11
в этом контексте - 11
устроен так что - 11
на данный момент - 11
может повлиять на - 11
есть какая то - 11
что я хотел - 11
в этом мире - 11
что в ней - 11
- ведь мы - 11
том как работает - 11
то совершенно новое - 11
это делают люди - 11
так много - - 11
слов в строке - 11
новые знания и - 11
о том - - 11
том - что - 11
как человек - - 11
это связано с - 11
всё же мы - 11
именно так - - 11
нам пока не - 11
- так что - 11
вещи которые нам - 11
как это и - 11
что всё в - 11
можем сделать чтобы - 11
- для этого - 11
независимо от того - 11
в области искусственного - 11
области искусственного интеллекта - 11
какие- то новые - 11
многие вещи которые - 11
после того как - 11
на разных уровнях - 11
не могут быть - 11
играют важную роль - 11
Что мы можем - 11
в различных сферах - 11
будет зависеть от - 11
это только так - 10
это всё нужно - 10
может это не - 10
из этого может - 10
как можно это - 10
и что с - 10
так не думаю - 10
я думаю - - 10
может быть иначе - 10
мир в котором - 10
как это есть - 10
я так думаю - 10
а ты знаешь - 10
как это сделать - 10
это обычно происходит - 10
а что тогда - 10
должно быть всё - 10
из этого следует - 10
но тем не - 10
по другому - - 10
то что в - 10
как ты это - 10
что ты хочешь - 10
думаю что ты - 10
только то что - 10
всё что только - 10
наш сложный мир - 10
о чём не - 10
чтобы это понять - 10
значит мы должны - 10
много чего - - 10
чём здесь идёт - 10
до этого - - 10
почему так происходит - 10
ты не можешь - 10
мы начинаем понимать - 10
- и я - 10
сказано - но - 10
нам уже известно - 10
всё не просто - 10
это всё довольно - 10
как я думал - 10
я не совсем - 10
сейчас происходит в - 10
происходит на самом - 10
и по другому - 10
- и так - 10
- ну или - 10
мы пока не - 10
это сделать - - 10
- мы должны - 10
так и важно - 10
но почему так - 10
в нашем случае - 10
в нашем сложном - 10
интересно - но - 10
не очень хорошо - 10
понять - почему - 10
то есть мы - 10
разобраться в этом - 10
лучше понять - - 10
мы не всегда - 10
- это кажется - 10
в нашей памяти - 10
нужно просто понять - 10
по сути ничего - 10
- это может - 10
никто толком не - 10
- в чём - 10
это понять - - 10
что наш мир - 10
и то что - 10
или хотя бы - 10
бывает не так - 10
так как нужно - 10
но так ли - 10
ли это на - 10
на этом пути - 10
наше сознание - - 10
том случае если - 10
которые мы не - 10
он не может - 10
что нам не - 10
что то совершенно - 10
реально происходит в - 10
всё в мире - 10
- ведь всё - 10
- что не - 10
большого числа людей - 10
можем быть уверены - 10
будем считать что - 10
- насколько это - 10
чтобы можно было - 10
не нужно - - 10
не в состоянии - 10
они не могут - 10
они должны быть - 10
того как мы - 10
чтобы понять что - 10
может быть довольно - 10
лучше понять как - 10
от того как - 10
на основе этого - 10
- в том - 10
- но есть - 10
а то что - 10
- даже если - 10
для решения сложных - 10
не можем осознать - 10
чтобы мы могли - 10
в том - - 10
может помочь нам - 10
и искусственного интеллекта - 10
бы то ни - 10
то ни было - 10
дело в том - 10
решения на основе - 10
в том чтобы - 10
в будущем люди - 10
что он может - 10
важно помнить что - 10
в разных областях - 10
обрабатывать и анализировать - 10
всего нашего мира - 10
могут использоваться для - 10
важно отметить что - 10
В нашем мире - 9
наверно и есть - 9
можешь мне сказать - 9
не было предусмотрено - 9
сказать об этом - 9
чём ты думаешь - 9
я с тобой - 9
- я так - 9
не так это - 9
но не всё - 9
да или нет - 9
что должно быть - 9
котором мы живем - 9
да нет - - 9
знаю о чём - 9
это не имеет - 9
почему так - - 9
мы можем извлечь - 9
можно найти в - 9
об этом это - 9
того что у - 9
если ты так - 9
что это есть - 9
всё же - - 9
не так всё - 9
узнать что то - 9
в основе своей - 9
пока не известно - 9
можем что то - 9
нужно больше информации - 9
ты можешь мне - 9
возможно - но - 9
когда мы начинаем - 9
это возможно сделать - 9
хорошо что ты - 9
и как ты - 9






тот же код с сортировкой троек слов по частоте:

 import re
from collections import Counter

# Функция для очистки текста от знаков пунктуации, кроме дефисов
def clean_text(text):
    # Заменяем все знаки пунктуации, кроме дефисов, на пробелы
    cleaned_text = re.sub(r'[^\w\s-]', ' ', text)
    return cleaned_text

# Функция для подсчета повторов троек слов
def count_triple_words(text):
    words = text.split()
    triples = [tuple(words[i:i+3]) for i in range(len(words)-2)]
    return Counter(triples)

# Чтение файла
file_path = 'фразы.txt'
with open(file_path, 'r', encoding='utf-8') as file:
    text = file.read()

# Очистка текста от знаков пунктуации, кроме дефисов
cleaned_text = clean_text(text)

# Подсчет повторов троек слов
triple_counts = count_triple_words(cleaned_text)

# Сортировка троек слов по частоте и вывод в порядке убывания
sorted_triples = sorted(triple_counts.items(), key=lambda x: x[1], reverse=True)
for triple, count in sorted_triples:
    if count >= 2:
        print(f"{' '.join(triple)} - {count}")




 **


вывод результатов с сортировкой и без сортировки нужно интерполировать методами матричного анализа - чтобы найти какие тройки какую функцию играют в тексте модели

методом множественных итераций из больших моделей можно делать днк геномы и так изучать как работают те или иные гены в клетках

следующий этап создание модели мульти-генома - чтобы понять как работают вместе похожие геномы живых организмов - и так далее


если из больших данных можно извлекать нейронные когнитомы, то из них также можно делать молекулярные модели любых клеток, днк и рнк.

когда мы создаём что то новое, меняемся на уровне клеток ..
или ошибаемся - мы вероятно играем с синапсами и молекулами -
а может быть и не только - например с бактериями и вирусами..

математика кодирования любых структур - от частиц до клеток, людей, социума .. и так далее - по сути одна и таже..