веса пар строк - список пар строк

промт >
программа находит в тексте txt все возможные пары фраз или строк
определяет веса этих пар строк 
и выводит список пар этих фраз упорядочив их по весу векторных связей
данных нашего текста

 разберём запрос пользователя на русском:
"программа находит в тексте txt все возможные пары фраз или строк определяет веса этих пар и выводит список пар этих фраз упорядочив их по весу векторных связей данных текста"


Interpreting user request
The user’s request is in Russian:
"a program finds all possible pairs of phrases or strings in a text file txt, determines the weights of these pairs, and outputs a list of pairs ordered by the weight of vector connections in the text."
The task involves text analysis, specifically identifying and weighing relationships between pairs of phrases or strings.
The output must be a sorted list, likely descending, based on the calculated weights of vector connections.
Clarifying user intent
The user wants a program that processes a text file (txt) to find all possible pairs of phrases or strings.
The program must calculate weights for these pairs based on "vector connections" in the text, likely indicating similarity measures.
Considering implementation
The task suggests using vector representations, such as embeddings (e.g., word2vec or transformers), to compute weights.
"Vector connections" might refer to cosine similarity between phrase vectors, but the exact method depends on the user's model choice.
Proposing implementation approach
The task involves writing a Python program to process a text file, likely using libraries like transformers for phrase embeddings.
The program will read the file, split it into lines (assumed as phrases), compute pairs, calculate weights via cosine similarity, sort, and output results.
import os
import numpy as np
from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity



# Функция для чтения текста из файла и разделения на строки (фраза = строка)
def read_text_file(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        lines = [line.strip() for line in file.readlines() if line.strip()]
    return lines

# Функция для вычисления весов пар (косинусное сходство векторов фраз)
def compute_pair_weights(lines, model_name='all-MiniLM-L6-v2'):
    # Загружаем модель для Sentence Embeddings
    model = SentenceTransformer(model_name)
    # Получаем эмбеддинги для каждой строки
    embeddings = model.encode(lines)
   
    pairs = []
    for i in range(len(lines)):
        for j in range(i + 1, len(lines)):
            # Вычисляем косинусное сходство (вес векторной связи)
            weight = cosine_similarity([embeddings[i]], [embeddings[j]])[0][0]
            pairs.append((lines[i], lines[j], weight))
   
    return pairs

# Функция для сортировки и вывода пар по весу (убыванию)
def print_sorted_pairs(pairs):
    # Сортируем по весу (от большего к меньшему)
    sorted_pairs = sorted(pairs, key=lambda x: x[2], reverse=True)
   
    print("Список пар фраз (строк), упорядоченных по весу векторных связей (косинусное сходство):")
    print("Формат: (Фраза 1) -- (Фраза 2) : Вес")
    print("-" * 80)
    for pair in sorted_pairs:
        print(f"({pair[0]}) -- ({pair[1]}) : {pair[2]:.4f}")

# Основная функция
def main(file_path):
    if not os.path.exists(file_path):
        print(f"Файл {file_path} не найден.")
        return
   
    lines = read_text_file(file_path)
    if len(lines) < 2:
        print("Файл должен содержать как минимум 2 строки для анализа пар.")
        return
   
    pairs = compute_pair_weights(lines)
    print_sorted_pairs(pairs)

# Пример использования: замените 'text.txt' на путь к вашему файлу
if __name__ == "__main__":
    main('text.txt')



Пояснения к коду

Вход: Программа читает файл text.txt (закодированный в UTF-8), где каждая непустая строка считается отдельной фразой.

Обработка: Для каждой фразы вычисляется векторное представление (embedding) с помощью модели Sentence Transformers (all-MiniLM-L6-v2). Это стандартный подход для векторных связей в тексте.

Пары и веса: Программа генерирует все уникальные пары фраз и вычисляет их вес как косинусное сходство эмбеддингов (от 0 до 1, где 1 — полное совпадение).

Вывод: Пары сортируются по весу (от большего к меньшему) и выводятся в консоль.
Зависимости: Установите sentence-transformers и scikit-learn через pip: pip install sentence-transformers scikit-learn.

Ограничения: Для больших файлов или длинных текстов может потребоваться оптимизация (например, батчевая обработка).

Если нужно доработать (например, изменить определение "фраз", добавить фильтры или использовать другую модель), предоставьте больше деталей по этой теме







1415926535897932384626433832795028841971
6939937510582097494459230781640628620899
8628034825342117067982148086513282306647
0938446095505822317253594081284811174502

8410270193852110555964462294895493038196
4428810975665933446128475648233786783165
2712019091456485669234603486104543266482
1339360726024914127372458700660631558817

4881520920962829254091715364367892590360
0113305305488204665213841469519415116094
3305727036575959195309218611738193261179
3105118548074462379962749567351885752724

8912279381830119491298336733624406566430
8602139494639522473719070217986094370277
0539217176293176752384674818467669405132
0005681271452635608277857713427577896091

7363717872146844090122495343014654958537
1050792279689258923542019956112129021960
8640344181598136297747713099605187072113
4999999837297804995105973173281609631859

5024459455346908302642522308253344685035
2619311881710100031378387528865875332083
8142061717766914730359825349042875546873
1159562863882353787593751957781857780532

1712268066130019278766111959092164201989
2323232323232323232323232323232323232323
2000000000000000000000000000000000000333