Атака на Нью-Йорк 11 сентября 2001 г. заставила американские спецслужбы внимательнее относиться к текстам и сообщениям на арабских языках. Теперь им в этом послужит подспорьем новое ПО от Basis Technology.
Компания Basis Technology выпускает ПО для обработки текстов на всех языках мира. Её программы распознают и анализируют языки, проверяют алфавиты на совместимость с Unicode и проводят многоязыковой поиск в документе.
Арабский язык - один из самых трудных для компьютерного анализа, особенно по части поиска данных. Зачастую арабские слова уже несут в себе грамматические элементы, определяющие вид глагола, спряжение, лицо, число, род и др. В итоге, текст на арабском приходится "нормализовать", чтобы обеспечить индексирование, поиск по ключевым словам и другие операции. К тому же, своеобразное использование или полное отсутствие гласных вносит дополнительные трудности.
Arabic Language Analyzer (ARLA) представляет собой программный механизм, позволяющий обрабатывать документы, написанные на арабском языке. ARLA легко интегрируется с существующими системами поиска. ARLA выполняет орфографическую и лексическую нормализацию текста, включающую удаление таких частей речи, как союзы, предлоги и местоимения, которые усложняют поиск. В программе используются сложный лингвистический алгоритм и специальная лексика для перевода числительных (включая сложные) в формы единственного числа.
Созданный по заказу спецслужб Arabic Language Analyzer расширит возможности американских "органов" в предотвращении возможных террористических атак. Сейчас спецслужбы США испытывают трудности при анализе информации на арабском языке, так как имеющиеся средства ориентированы на латинский алфавит и американскую таблицу кодировки символов. Транскрибирование, выполняемое переводчиками-людьми, часто приводит к разным толкованиям и усложняет обработку текстов. Например, имя главы Ливии Муамара Каддафи имеет около тридцати(!) вариантов написания латиницей.
Ранее Basis Technology, в штате которой насчитываются всего 50 чел., выпустила инструменты для работы с китайским, корейским и японским языками.
КОММЕНТАРИИ
Выбор редакции
"Никогда такого не было": в Германии пришли в ужас из-за катастрофы по всей Украине
ЦБ РФ выступил с важным объявлением о курсе доллара и евро
Макаревич* страшно оконфузился в аэропорту: уделался на глазах у всех
Шольц заявил о провале плана Путина по Украине
Рекомендуем
Кудрявцевой получила работу отмененных Галкина* и Ивлеевой
"Расплата за грехи": что говорили знакомые о болезни Заворотнюк
Новая возлюбленная Аршавина показала округлившийся живот
60-летняя вдова Михаила Задорнова выложила откровенную фотографию и восхитила мужчин
Необычная деталь подлодки РФ у берегов Кубы заставила Запад паниковать
Россия демонстрирует, на что способна
Подпольщики под Херсоном сдали колонну украинских войск армии России
Против киевского режима борются на всех фронтах
Выбор читателей
- Забили до смерти: в Петербурге убита знаменитая певица
- Живого "Пригожина" заметили в Африке: кадры взорвали Интернет
- Пропавшую две недели назад российскую певицу нашли мертвой
- Армения нанесла подлый удар по России
- На Кейт Миддлтон свалилось новое горе
- Решение России по Нарве вывело Борреля из себя
- Россия нанесла групповой удар по Украине: описаны последствия для Киева
- Снесли пушкой: во время инаугурации президента произошел неприятный инцидент
- Колонны ВСУ ринулись в Харьковскую область
- Кучера неожиданно набросился на известную телеведущую: "Ты мразь!"
- Больная Кейт Миддлтон залепила звонкую пощечину Меган Маркл: отыгралась на ребенке
- В США назвали вероятный срок отставки Путина
- Отставка Шойгу на первых полосах в России и за рубежом: "Очень плохие новости"
- СМИ: Путин и Си отвесили жесткую пощечину Вашингтону
- Актера Смолякова хотят выгнать из России
- ЕС жестко отреагировал на заявление Москвы о ракетных учениях с ядерными бомбами
- Раскрыта связь между Пригожиным и чистками в Минобороны
- США и Филиппины нанесли сокрушительные удары по китайскому танкеру
- Знаменитая 58-летняя актриса похвасталась фигурой в откровенном мини-бикини
- Не яйца и масло: какие продукты на самом деле влияют на уровень холестерина