Приветствую форумчане!
Не нашел более подходящего места, куда всунуть тему, прошу сильно не пинать!
Собственно сабж:
1. Есть два массива данных со значениями, назовем их М1 и М2 одно значение имеет в своем составе набор A-Z, a-z, 0-9, других символов нет, длина значения может быть разная.
2. В каждом массиве миллионы значений (М1 больше, М2 меньше, по объему в пару десятков раз) но и их объем очень быстро растет.
3. В настоящий момент, есть копия значений обоих массивов и содержутся в десятках текстовых файлов, в стиле: одно значение=одна строка.
Задача:
Искать одинаковые значения из М2 в М1 и выводить найденное совпадение.
В настоящий момент данные действия провожу в Excel, разбил все на 4 части и пляски с бубном.))
Когда значений было немного, все бвло нормально.
Но когда перевалило за 500 тыщ. в M1 и 80 тыщ. в М2, Excel задохнулся, на обработку уходит по полчаса, а таких действий нужно 4 и плюс куча копипаста.
Возникла идея, собрать оба массива в БД и в какое-то ПО, которое сможет более менее быстро эту задачу выполнять, вопрос в какое?
Также, необходим импорт данных из TXT.
Работа с оным локальная, и желательно, чтобы так и оставалось. В крайнем случае можно повесить БД на серв, который в локсети.
Значения внутри каждого массива могут повторяться, это не критично, главное искать совпадения значений между массивами!
Но если можно будет удалять дубликаты внутри одного массива, будет только плюс.
Ну вот, вроде все описАл, возможно кто встречался с подобным, в чем это можно реализовать?
Буду рад любым мыслям!
Не нашел более подходящего места, куда всунуть тему, прошу сильно не пинать!
Собственно сабж:
1. Есть два массива данных со значениями, назовем их М1 и М2 одно значение имеет в своем составе набор A-Z, a-z, 0-9, других символов нет, длина значения может быть разная.
2. В каждом массиве миллионы значений (М1 больше, М2 меньше, по объему в пару десятков раз) но и их объем очень быстро растет.
3. В настоящий момент, есть копия значений обоих массивов и содержутся в десятках текстовых файлов, в стиле: одно значение=одна строка.
Задача:
Искать одинаковые значения из М2 в М1 и выводить найденное совпадение.
В настоящий момент данные действия провожу в Excel, разбил все на 4 части и пляски с бубном.))
Когда значений было немного, все бвло нормально.
Но когда перевалило за 500 тыщ. в M1 и 80 тыщ. в М2, Excel задохнулся, на обработку уходит по полчаса, а таких действий нужно 4 и плюс куча копипаста.
Возникла идея, собрать оба массива в БД и в какое-то ПО, которое сможет более менее быстро эту задачу выполнять, вопрос в какое?
Также, необходим импорт данных из TXT.
Работа с оным локальная, и желательно, чтобы так и оставалось. В крайнем случае можно повесить БД на серв, который в локсети.
Значения внутри каждого массива могут повторяться, это не критично, главное искать совпадения значений между массивами!
Но если можно будет удалять дубликаты внутри одного массива, будет только плюс.
Ну вот, вроде все описАл, возможно кто встречался с подобным, в чем это можно реализовать?
Буду рад любым мыслям!
