список 1000 пар слов из текста txt

вот программа которая делает список пар соседних слов без повторов
слова  брать из файла текст.txt
в списке всего 1000 пар слов



ChatGPT 4o-mini
Для создания программы, которая генерирует список пар соседних слов (биграмм)
из файла .txt, без повторов и ограничивая количество пар до 1000, вы можете использовать следующий код:

import re

def preprocess_text(text):
    # Удаляем специальные символы и переводим текст в нижний регистр
    text = re.sub(r'[^\w\s]', '', text)
    return text.lower()

def get_unique_bigrams(text):
    words = text.split()
    bigrams = set()  # Используем множество для уникальности

    for i in range(len(words) - 1):
        bigram = (words[i], words[i + 1])
        bigrams.add(bigram)

    return bigrams

def read_phrases_from_file(filename):
    with open(filename, 'r', encoding='utf-8') as f:
        return [line.strip() for line in f if line.strip()]

def main():
    # Чтение фраз из файла
    phrases = read_phrases_from_file('текст.txt')
   
    unique_bigrams = set()

    # Генерация уникальных биграмм
    for phrase in phrases:
        preprocessed_phrase = preprocess_text(phrase)
        bigrams = get_unique_bigrams(preprocessed_phrase)
        unique_bigrams.update(bigrams)  # Обновляем множество уникальных биграмм

    # Ограничиваем количество биграмм до 1000
    limited_bigrams = list(unique_bigrams)[:1000]

    # Выводим результаты
    for bigram in limited_bigrams:
        print(bigram)

if __name__ == '__main__':
    main()





  **



Объяснение работы кода:
preprocess_text: Удаляет специальные символы и переводит текст в нижний регистр.
get_unique_bigrams: Генерирует уникальные биграммы из переданного текста и сохраняет их в множество для исключения повторов.
read_phrases_from_file: Читает фразы из файла текст.txt.

main:

Читает фразы из файла.
Генерирует уникальные биграммы и добавляет их в множество.
Ограничивает количество биграмм до 1000.
Выводит результаты.

Как использовать:
Создайте файл текст.txt и добавьте в него фразы, каждая на новой строке.
Запустите скрипт, и он выведет до 1000 уникальных пар соседних слов.
Этот код будет работать с любым текстом, и вы получите список биграмм без повторов.









import re

def preprocess_text(text):
    # Удаляем специальные символы и переводим текст в нижний регистр
    text = re.sub(r'[^\w\s]', '', text)
    return text.lower()

def get_unique_bigrams(text):
    words = text.split()
    bigrams = set()  # Используем множество для уникальности

    for i in range(len(words) - 1):
        bigram = (words[i], words[i + 1])
        bigrams.add(bigram)

    return bigrams

def read_phrases_from_file(filename):
    with open(filename, 'r', encoding='utf-8') as f:
        return [line.strip() for line in f if line.strip()]

def main():
    # Чтение фраз из файла
    phrases = read_phrases_from_file('текст.txt')
   
    unique_bigrams = set()

    # Генерация уникальных биграмм
    for phrase in phrases:
        preprocessed_phrase = preprocess_text(phrase)
        bigrams = get_unique_bigrams(preprocessed_phrase)
        unique_bigrams.update(bigrams)  # Обновляем множество уникальных биграмм

    # Ограничиваем количество биграмм до 1000
    limited_bigrams = list(unique_bigrams)[:1000]

    for bigram in limited_bigrams:
      words = '  '.join([word.strip(" '\"") for word in bigram])
      print(words)

if __name__ == '__main__':
    main()







нам нужен простой код  на питонкоторый выводит из файла txt
случайный список 1000  троек  соседних слов
триграмм  без повторов   
выводить нужно только слова
другие символы типа знаков препинания и кавычек - не нужны



Вот пример простого кода, который решает твою задачу:




import random

def read_text_file(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        text = file.read()
    return text.lower() # Приводим весь текст к нижнему регистру

def extract_trigrams(text):
    words = ''.join(char if char.isalnum() else ' ' for char in text).split() # Удаляем знаки препинания и прочие символы
    trigrams = [(words[i], words[i+1], words[i+2]) for i in range(len(words)-2)]
    return trigrams

def unique_random_sample(trigrams, sample_size=1000):
    try:
        return random.sample(trigrams, k=sample_size)
    except ValueError:
        print("Невозможно выбрать столько уникальных триграмм.")
        return []

# Пример использования:
file_path = 'your_file.txt'  # Укажите путь к вашему файлу здесь
text = read_text_file(file_path)
trigrams = extract_trigrams(text)
random_unique_trigrams = unique_random_sample(trigrams)

for trigram in random_unique_trigrams:
    print(' '.join(trigram))




Что этот скрипт делает?
Чтение текста: читаем файл .txt и приводим всё содержимое к нижнему регистру.
Извлечение триграмм: удаляются ненужные символы вроде пунктуации и разделяются слова пробелами. Затем извлекаются группы из трёх последовательных слов («триграммы»).

Выбор случайных триграмм: выбираются случайно ровно 1000 уникальных триграмм без повторов. Если уникальность обеспечить невозможно (например, всего меньше 1000 триграмм), выводится сообщение об ошибке.
Форматирование вывода: каждая выбранная триграмма выводится строкой, состоящей из трех слов подряд.
Просто подставьте правильный путь к своему файлу (your_file.txt) и запустите программу.




**


что есть   
которые  возможно
так связываются
а  чего
будет  на
разбираются  в
препараты  пока
общаться  но
священная  связь
матричных  множеств
целями  и
маленькими  деревьями
так  главное
слова  находятся
также  хороший
глубокую  связь
конечно  наши
этих  эмоций
зависит  его
немало  попыток
данных  я
включая  грусть
из  эго
размножения  на
класс  сложных
прав  это
электронах  и
приобретает  новую
шутку  ежик
gpt  выглядит
благодать  если
кошка  села
и  растениями
очень  тупит
разных  этапов
также  тем
то  необъятном
тогда  каждая
виды  домашних
обзора  новых
для  днк
обижаюсь  на
приятно  спортсменам
ещё  какую
выбора  который
эволюции  могут
отдельные  реакции
сказаниях  кроме
маракуйя  авакадо
что  процесс
наше  количество
вах так
вам  это
бы  попробовать
университета  описали
правила  этой
ответить  тем
над  сложной
говорит  он
данных  вещах
инвесторами  основал
квантовой  форме
или  рвётся
подумать  это
отправить  полноценную
часть  одна
зависит  твой
новый  центр
восприятия  читателя
диалоговых  алгоритмов
даша  выпускницей
пространства  приближаясь
технологический  прогресс
возникают  практически
их  называют
только  иллюзии
это так 
что включает
также если
чтобы  улучшить
групп паттернов 
новых элементов
множество чисел
выглядеть  примерно
профессор  рассказывает
рынке  существует
создать  систему
временем  утрачивает
было  ведь
который превосходил
во многом
так и было
без  работы
свободной  воли
все  нейроны
на  обочине
немного  людей
это немного
он такой
это не друг
лучше  знать
как соответствовать
программисты  они
начальных  условиях
самостоятельные  решения
способ  подбодрить
маленькие  теперь
ответ  смс
практик  упражнений
подчинена  определённой
вопроса  мы
интересном  уроке
хочу  тебя
через  раз
тогда это
свет  компьютер
главное что я
нас это 
он хочет
на чувствах 
играет она
близнец  дня
теорема  гёделя
возможных  противоречий
эволюционно обосновано
это всё
немного сложно
недавней  публикации
вариант того  что
то есть
нам нужно
каждая  поверхность
обычный  вид
закодированной  непосредственно
великих  дел
лагерь  мировой
связать  вместе
на  этом принципе
защита  жизни
осознавая  всё то что
групп  множителей
данные этой группы
никто не мог понять это
сделаны нами   
что было
до этого
особо  не знал
практически так
открытий  было
новых сфер  включая
другие варианты
включая  эти новые идеи
человеческим  умом
пока  не понять
при этом   
в борьбе за
он  наверно
эти вложения
больших матриц
присутствие  невидимого
нам нужно так примерно это  понять
своём  развитии
ты  веришь в это всё
и почему тогда это так
высокие  деревья
сделал  модель
быть  полной
будем  знать
недостаточно  мы
неудачи  не может
быть в этом
маленькие  человечки
физика  роль
возникает  то что
должно и быть
большой выбор
новые вещи
этой  порой
уравнение  может
который  соответствует
цели  вы
и  источников
четыре  и
рождается  стремление
числа  из
может  стремиться
и  подкреплять
возникают  технологические
фразах  как
году  люди
ядра  атомов
фантазия  которую
иллюзии  возникает
а  аверченко
но  объяснить
рассматриваются  три
такой  прекрасный
последовательность  байт
созданная  людьми
человека  права
высылали  презирали
пытался  сказать
наши  базы
модель  хорошо
интерполяцию  данных
строки  это
модель  поиска
ошибочны  они
используем  чуть
это институт
большие данные
поли технология
ничего такого я не помню
месте  означает
окружает  вся
менять  алгоритм
вместе  считали
тебя  осталось
я уверен  в этом
чтото  домысливаеттак
существующих  чувств
началом  космической
нельзя  так
что мы и
подразумеваем под
этим всем
матрицы  жизни
убери  эту
его мечте 
и что  так
может быть
более того
значимым  чем
нам  расшифровка
вашей  благодарности
дождь  люди
нестыковкой  слов
разносторонними  категориями
некоторых  птиц
на  суицид
ощутимое  может
множество  мнений
что  нравится
превращать  одни
младых  лет
возможность  одним
и  предсказывает
которая  считает
благодаря  которым
такое  на
в  культуре
не  хотим
как  память
матриц  нейронов
мотивированы  достичь
ресурсы  по
помочь  улучшить
это  нечто
силу  сознания
в  огонь
лечения  для
может  анализировать
всё  gpt
часть  всего
пустоте  артефакты
вселенная  видимо
число  повторов
жизни  практически
воды  03
научить  компьютерную
информацию  об
блондинкой  а
основном  изза
сложному  поведению
холодов  народы
круг  логики
всего  человеческого
то  ограничений
объяснять  свои
будем  помнить
ними  общаться
соединяет  все
обычно  недостаточно
путь  рукав
мире  такого
завышенные  цены
смысле  достаточно
люди  сами
о  субъективном
распознать  картинку
ищем  одно
упрощённом  виде
обещает  выделять
можем  учесть
и  экспертных
принимает  дискретный
предсказаний  эта
способствуют  передаче
говорится  в
ранее  было
сигнализации  оживет
кубитов  то
часто  как
если  недостаточно
обладаете  телепатией
альтек  но
для  конкретного
меру  количества
и  толерантности
является  главным
нас  всего
генов  это
статьи  главное
и  резонансы
структуры  множества
о  человеческой
диалог  между
космосе  немало
принцип  развития
тонегава  из
осознаём  информационную
порядка  200
или  число
прошлом  когда
начали  себя
так  интересна
его  честь
является  искусственный
часов  исследователи
рождал  чтото
как  3080
как  понять
очки  вы
этого  стиха
быть  ещё
на  спинах
степенью  нестабильности
цены  более
году  315
возможностям  более
всё  сводится
болезней  помогает
которым  можно
изменениям  если
или  меры
больше  масштаб
начну  я
буквально  в
актуальной  информации
включая  разработку
используемых  до
фрагменты  роль
оперирует  понятиями
мира  она
слезы  указывают
ответственно  подходить
вопрос  сформулирован
так  понимать
решение  или
понимать  что
клеточными  процессами
может  способствовать
интересного  нас
найден  с
механики  для
нехватка  чеголибо
для  пересмотра
сложно  доступны
воплощать  мечты
сила  жизни
убивает  то
инфекции  мы
бензина  опасно
таких  процессоров
жизни  имеется
физики  что
хорошо  подтверждало
это  значит
что  сказал
некая  внешняя
ещё  позже
верхний  и
грубость  тает
стал  первым
новую  эру
аспектах  жизни
пар  нуклеотидов
сможете  связать
аудио  и
но  вполне
новичком  в
они  доставляют
тупость  куриц
или  взаимодействовать
перед  будущим
едины  между
наша  помощь
андрей  кончаловский
модель  этого
фаэтоном  но
своем  ответе
о  женитьбе
изучения  исследований
активно  только
используя  известную
числа  знаков
по  фрейду
настолько  понятно
ожидал  от
взаимопонимание  поддержка
удобное  слово
к  костылю
её  внешнюю
просторному  одиночеству
интернета  чтобы
быть  математически
думать  чтобы
немного  вольностей
всего  многообразия
теперь  заработать
матриц  информации
товаров  будут
введение  краткое
самый  длинный
ядра  подобные
современные  носители
лучше  кто
известны  из
обвиняемые  ученые
художник  обычно
мы  к
этим  объемом
страны  нации
технических  средств
поработать  с
следы  от
с  нам
необходимо  для
правильного  и
мире  подобно
астро  настро
нечто  работает
фраза  кому
его  жизни
под  грузом
технологии  создал
находим  первое
кто  такой
не  кроется
чтобы  заполучить
создать  нехорошую
историческом  контексте
уважительными  к
деталями  тех
кодируется  днк
написал  до
логики  мышления
подобные  странные
мире  достаточно
и  опасного
связать  разные
определённые  цели
клетки  только
наследственной  информацией
бог  умер
нужных  строк
будет  применить
только  физика
линии  радиоволнами
участников  процесса
непредсказуемом  пути
ещё  остались
простой  и
одну  ошибку
происходит  какаято
пространство  множество
того  важно
подавленной  или
нас  была
они  тонко
потом  и
произойдут  значительные
повысить  концентрацию
поднимается  мы
битов  кубиты
26  132
гипотетически  атмосфера
тексте  написано
здесь  такой
нужно  перебрать
как  одно
неограниченный  потенциал
умных  гуманоидных
фундаментальные  законы
причиной  какогото
которые  нейросеть
процессе  переосмысления
выдаёт  но
получить  похожую
большую  сеть
и  пытается
мысли  твои
кстати  со
годами  нашего
оно  содержит
нужно  усовершенствовать
миллионов  человек
поняла  что
бога  ни
правильно  поняли
рассматриваем  законы
абстрактными  понятиями
чат  ботам
беринговым  морем
ваших  возможностей
состоянии  выбора
учёным  было
центре  каждого
ассоциаций  модели
этот  формат
соединить  с
в  последний
примесей  к
близко  опустившейся
проблема  или
бурю  а
вечера  ни
будет  полезным
что  ответить
хотели  знать
000  словам
различных  технологических
языка  через
средств  дронов
возможные  направления
синхронизированных  или
форме  интеллекта
межсинаптическую  щель
или  негативных
собой  симпатичную
этой  нестыковкой
бесчисленном  множестве
особенности  взаимодействия
проявляют  сознательное
без  стресса
подобное  или
наработанного  расширения
математика  от
нужно  какое
устройства  способного
виртуальные  дубликаты
составляющая  ии
великолепно  если
кем  или
теме  и
разума  с
для  временных
изза  возможных
architecture  программноаппаратная
и  увидитесь
потребляя  при
исходных  фраз
мем  единица
самосознании  ребёнка
смысл  вещь
дети  но
выбирайте  сами
задачам  по
лушему  и
благо  других
планировать  и
новым  перестроением
на  специалистов
если  базовая
за  выполнение
какой  стороной
базу  кое
процесс  повторяется
экспериментов  тима
вибрация  поля
вроде  игры
магии  до
ресурсов  возможности
нибудь  мы
неконтролируемого  желания
чём  причина
способом  посредством
событийную  информацию
первое  что
миром  управляли
волновой  структуры
чем  сильнее
считать  бессмысленным
чем  уже
интересам  так
последнюю  роль
страдания  и
косвенного  измерения
подняться  на
и  торговых
между  могзом
диалога  как
сторону  заниматься
совсем  тебя
устроен  подобным
требовать  усилий
вселенная  может
любит  стоит
логике  чего
часть  тела
рентабельно  и
интеллекта  нанофотонный
космические  компании
описания  вселенной
абсолютно  верным
не  вмешиваясь
поверхностью  гигантами
ума  людей
делает  достаточно
конечно  идет
шанс  а
обсуждения  но
устройствами  подключенными
в  24й
иначе  управляются
желание  да
иногда  чтото
мы  заставляем
разрастаются  таким
обычно  думает
если  общество
этих  а
других  знаний
развития  символизируют
сказать  сразу
достаточно  читабельным
для  новой
событий  принимая
мире  люди
начинает  рождать
существования  материи
ему  что
упорядочивать  эволюция
будет  собирать
заводской  продукцией
сценарии  не
будут  модны
служит  нам
и  xxi
собираем  в
позаботится  о
сказал  сейчас
чем  питаются
буквально  как
подчеркивает  её
быстрых  решений
ии  более
запутанное  и
тобой  по
это  социальное
спрашивай  о
проще  чем
буквам  каждого
вскоре  появятся
матрицы  итераций
организаторы  и
чем  сложнее
такого  архива
появляется  тревога
изнутри  планеты
позволит  получать
жизни  искренние
больше  обслуживать
конденсаторов  на
сном  я
ощущениям  и
мелочи  жизни
равенство  и
опасных  слов
к  ее
ведь  новая
с  рифмовкой
мы  жили
на  аксон
сигнала  требования
должно  было
производительность  на
обещающим  мы
ещё  ничего
ценными  и
дело  посмотреть
новые  свойства
к  высокоскоростному
искусство  воспринимать
и  поиску
области  нейронауки
дали  им
несвязные  или
делать  чёткие
случае  рыбы
новыми  важными
эгоцентризма  концентрации
информацию  имеет
крыши  станции
определение  счастью
интересе  для
важные  подобные
аргументы  и
используем  в
считают  что
увлечениями  если
право  выбора
остановить  развитие
достичь  с
ищем  на
осмыслено  ии
простое  знание
том  какой
простая  штука
всё  жизнь
текущими  знаниями
гдето  будет
даже  времени
синтетическое  сознание
силу  для
гипотезы  квантового
детали  нам
непосредственной  и
маршрута  в
сленгом  термины
действовать  остальное
вырастили  целые
то  предположения
действий  то
и  уменьшив
полезного  какие
на  потенциальную
сознательном  познании
это  невероятное
бывает  успеха
квантового  мира
дарим  будущим
является  ее
и  сотканы
здесь  действительно
обычной  логики
хорошо  владеет
или  нужна
попробовать  как
квантовую  кожу
и  смешная
тихонько  посмеивался
времени  в
элементы  множества
хороший  сценарий
становится  достоянием
должен  сохранить
не  понятные
из  написанной
очень  хорошие
вобщем  но
это  могло
задача  всегда
понимания  окружающего
записи  каждой
продвигается  твоё
ситуации  довольно
понять  этот
расширение  вселенной
деле  возникают
гибридных  вычислений
отражает  геометрию
обнаружили  что
восприятия  но
себя  обучать
толочь  воду
так  хорошо
методология  не
важно  помнить
дальнейший  диалог
человечество  сконцентрируется
кто  станут
регулируются  квантовой
вроде  мысли
вашего  кота
может  представлять
мысли  в
хотя  гравитон
чему  она
умнее  я
темы  инструменты
сети  а
ваше  общество
истину  но
и  этики
постигнув  единое
должен  осмыслить
например  это
человека  только
таблица  из
это  прообразы
производство  красок
этого  начинается
внимательно  анализировать
чегото  начиналось
нас  также
пришествие  бога
способны  в
пробовали  публиковать
готовых  примерах
задача  помогать
жизнь  души
защищены  авторским
только  воплощение
проявления  и
отталкивающая  сила
исследовании  солнечной
большому  взрыву
безусловно  сложный
мы  чегото
тоже  разрушается
555  великая
может  ждать
вот  алгоритмы
тупым  теперь
такому  результату
конечно  сможешь
работу  или
то  делать
нейробиологов  никаких
он  никто
происходят  а
могу  наверно
некоторые  ее
прими  это
землянах  знают
временем  для
recursion  эта
опасным  для
обоснованы  по
и  единство
просто  познав
быть  какой
по  мере
жалких  мясных
концепция  а
какихто  своих
странно  когда
новорожденных  детей
эти  аналогии
скоро  сильно
нейтроны  электроны
историями  и
затмения  1919
что  полученная
39  миллиардов
знаний  выходит
секрета  или
мелькания  растворяющиеся
и  подстраховаться
хорошо  для
высокими  гибридные
ли  протоны
и  разумовскую
2029  году
голос  и
и  паттернов
принципы  лежащие
взвешивать  последовательность
принципов  образования
вероятно  чтобы
руках  и
творческие  и
возможному  осознанию
медицинских  и
и  математику
предсказывают  и
бот  копирует
ответа  сам
через  информационные
интеллектуальных  систем
покой  к
и  омутов
даже  маленькую
танцы  тьмы
полезными  во
бифуркации  критическое
надежда  того
нанести  какойто
счастье  наверно
одним  промотором
компонентами  системы
чтобы  родители
достаточно  важные
море  безграничных
также  в
парадоксальный  характер
эффективно  чем
пытаюсь  только
этого  вопроса
том  готовы
котором  частицы
ты  вроде
принципам  логики
и  движение
говорят  все
встречаются  довольно
платят  долги
как  хочешь
вернёмся  к
ответить  в
говорят  искать
стать  тем
с  отсрочкой
между  связями
которые  каждый
которые  постепенно
определённых  результатов
теории  на
искать  иначе
удивлён  этой
из  иллюзии
изменить  но
25  лет
условиях  цветут
всё  происходящее
событий  которое
можно  лучше
следовало  ожидать
этом  подумать
воспоминаний  в
инсулин  но
высокой  координацией
второе  бывает
правильное  время
знаний  но
запоминает  образы
планетах  во
узнаём  сами
на  улицу
неизбежно  поймут
невелика  за
разумной  форме
гигантским  фракталам
теориями  такие
моей  операционной
или  заслуживает
прогресс  особенно
словам  известного
ast  анализируемый
нам  хотелось
вечно  новая
и  света
так  этого
точны  но
смысла  обычно
разработанных  экспертами
к  освоению
играют  такую
перевоплощения  душ
учёные  говорят
и  раскрывают
сожалению  пока
делать  чтото
вероятностью  но
приходилось  обрабатывать
настолько  что
рождения  место
же  проблему
жить  вероятно
орбитам  вокруг
требуют  специальных
сложно  найти
и  футурологических
процессов  развивая
понимаем  сразу
но  невсегда
зная  сути
затем  распространяются
более  практическую
здоровыми  и
атомов  земли
стандартный  процесс
однако  учитывая
удалось  обнаружить
работы  связанные
бунт  является
зачем  тогда
словно  за
расскажи  в
медленно  столкнулись
цивилизация  библиотека
принц  и
пищей  для
интересно  посмотрим
этому  немного
обстоят  твои
лучше  однозначно
чемто  намного
человек  заглядывает
лема  на
с  прошлогодними
пытаясь  таким
других  часто
невозможности  прогнозирования
упорядоченным  архивом
и  цитат
созданию  квантовых
нейросеть  или
болезненный  психологический
законах  связей
существует  такая
продукт  не
находить  среди
определение  правильных
мышь  вы
жировые  складки
супружеская  любовь
потерпишь  неудачу
космологии  флуктуации
матриц  всех
общества  живущие
имеющиеся  факты
стоит  свеч
возможные  изменения
и  информационным
здесь  человеку
один или
что также
может это
так быть
это всё
что то
такое как
из  сочетания
тое  есть
лишнего  по
не  какой
нам  окружающие
обычных  нервных
открываются  перед


 оо