Поиск по статьям

Языковые модели. Решение задачи извлечения ключевых слов. Часть Драй.

Пишу про мое погружение в датай сайнтус.

Продолжая вторую часть, пишу про релиз текущей версии языковой модели для решения задачи экстракции ключевых слов.

Image

Да детка, это наука

Так как с телегой и ее ботами стало проблематично работать, было принято решение запилить веб версию и, более того, расширить функционал. Предыдущий функционал был перенесен без изменений. При выборе «Ручное извлечение» вы увидите следующее.

 

Image

Ключевой смысл предложения был выявлен достаточно точно

Просто копируете в поле «Исходный текст» и в поле «Ключевые слова» получаете, как не странно, выявленные ключевые слова для исходного текста. Но вся магия появляется при выборе «Визуализация чата», это новый функционал, о котором я вам сейчас расскажу.

Работает все следующим образом, вы в ТГ выбираете экспорт истории чата и ждете, когда все необходимые данные будут экспортированы.

Image

Выбираем Export chat history

После этого у вас, скорее всего в папке Downloads\Telegram Desktop появится папка вида ChatExport_2026-05-14, а уже в ней сохраненные сообщения в html файлах.

Image

Вот так это все примерно выглядит

В самом сервисе просто перетаскиваете html файл в соответствующее поле и наслаждаетесь магией.

Image

Перетаскиваем html файл в соответствующее поле

После работы алгоритма страница выглядит следующим образом.

Image

Страница после работы алгоритма

На странице отображается следующее: 1) Пользователи. Указывается наименование пользователя, количество его сообщений и количество выявленных ключевых слов по его сообщениям. Между пользователями можно переключаться; 2) Ключевые слова. Показываются ключевые слова конкретного пользователя с частотой их упоминания. При нажатии на ключевое слово всплывает сообщение из которого данное ключевое слово было выявлено; 3) Поиск по ключевым словам. Вы пишите слово и находястяся все сообщения и все пользователи, у которых были ключевые слова, соответствующие вашему слову для поиска; 4) Стоп-слова. Указывается список ключевых слов, которые не будут отображаться в списке ключевых слов. Реализовано, чтобы убрать мусорные ключевые слова.

Основная идея сервиса базируется на 3 пункте, когда вы ищите людей, которые в своих текстах упоминали интересующие вас слова: «инвестор», «партнер», «маркетинг» и т.д. Сервис тестием тута.

А на этом все, котаны, пользуйтесь сервисов на здоровье и увидимся в следующей серии. Не забываем, мой ТГ (подписываемся) и блог (читаем). Всем Добра!!!!!))))))

Разработка игр в 2026. Часть третья. Апдейтикус.
Новостной дуйджест. Часть двенадцатая. Ватерло.
Инструменты
Аудит сайта
Автоматический аудит сайта на соблюдение требований законодательства о персональных данных.
Начать проверку