Языковая политика

Общие обсуждения => Компьютеры и интернет => Topic started by: Yougi on 28 January 2026, 13:43:01

Title: Сколько данных можно запихать в текстовый файл?
Post by: Yougi on 28 January 2026, 13:43:01

 Вопрос в топике не совсем соответствует тому, что я хочу спросить, но шо маэмо....
 Итак
 В плане радикального обновления карельского онлайн словаря навалял я себе на жабоскрипте некий код, а данные к нему хранятся прямо в файле скрипта, типа вот так

Code: [Select]


var dictionary = [
{
word: "kehno",
def: "черт",
rel: ["piru", "juavali","sorta"]
},
{
word: "ruočči",
def: "швед",
rel: ["počči", "emäččy"]
},
{
word: "perkele",
def: "ругательство",
rel: ["saattana", "сволочь"]
},
{
word: "käbälä",
def: "лапа",
rel: ["sorki", "jalka"]
},
{
word: "perze",
def: "жопа",
rel: ["makkura", "takapuoli"]
},
так вот, вопрос в том - если записей будет не сотня, а несколько тысяч, да и сами записи не такие убогие, а по килобайту каждая - оно  не поломается?

Title: Re: Сколько данных можно запихать в текстовый файл?
Post by: Tanuki-san on 28 January 2026, 14:02:58

могу сказать с практической стороны, что частотный словарь японского на 50к записей в виде txt зависал и не отвисал при попытке что-то в нем искать ctrl+F. надо иметь в виду, что кандзи в 2х больше места занимают, чем символ латиницы, но факт

Title: Re: Сколько данных можно запихать в текстовый файл?
Post by: Tanuki-san on 28 January 2026, 14:05:16

а сама структура записи - элементарнейшая:

# по ранкингу - слово - число токенов в корпусе

ничего особенного собственно

Title: Re: Сколько данных можно запихать в текстовый файл?
Post by: 2Easy on 28 January 2026, 18:36:41

Quote from: Yougi on 28 January 2026, 13:43:01

Вопрос в топике не совсем соответствует тому, что я хочу спросить, но шо маэмо....
 Итак
 В плане радикального обновления карельского онлайн словаря навалял я себе на жабоскрипте некий код, а данные к нему хранятся прямо в файле скрипта, типа вот так

Code: [Select]


var dictionary = [
{
word: "kehno",
def: "черт",
rel: ["piru", "juavali","sorta"]
},
{
word: "ruočči",
def: "швед",
rel: ["počči", "emäččy"]
},
{
word: "perkele",
def: "ругательство",
rel: ["saattana", "сволочь"]
},
{
word: "käbälä",
def: "лапа",
rel: ["sorki", "jalka"]
},
{
word: "perze",
def: "жопа",
rel: ["makkura", "takapuoli"]
},
так вот, вопрос в том - если записей будет не сотня, а несколько тысяч, да и сами записи не такие убогие, а по килобайту каждая - оно  не поломается?

В обычном виндяшном блокноте большой текстовый файл будет виснуть, в Notepad++ у меня еще ничего не висло.

Title: Re: Сколько данных можно запихать в текстовый файл?
Post by: Bhudh on 30 January 2026, 17:58:11

Поскольку структура JSON-подобная, её можно в .json-файле хранить и подгружать по мере надобности.
Или в .js, но тогда в нём надо оставить приравнивание переменной и подгружать через
<script src="dictionary.js"></script>

Title: Re: Сколько данных можно запихать в текстовый файл?
Post by: Python on 30 January 2026, 19:21:20

Гігантський JSON точно можна читати фрагментами, не парсячи кожного разу його увесь? Крім того, текст в UTF-8 — змінний розмір символів ускладнює навігацію по файлу.

Title: Re: Сколько данных можно запихать в текстовый файл?
Post by: Upliner on 30 January 2026, 19:55:54

Quote from: Python on 30 January 2026, 19:21:20

Гігантський JSON точно можна читати фрагментами, не парсячи кожного разу його увесь?

Не знаю як у JS, але в Go можна.

Title: Re: Сколько данных можно запихать в текстовый файл?
Post by: Bhudh on 30 January 2026, 19:58:36

Файл .json подгружается сразу весь, другое дело, что его можно разбить на несколько отдельных файлов (по алфавиту, частотности &c.) и подгружать данные пофайлово. Если нужно для работы держать данные в одном объекте, написать простенькую функцию объединения типа питоновской update.

Title: Re: Сколько данных можно запихать в текстовый файл?
Post by: Чайник777 on 30 January 2026, 22:55:44

В общем, скорее всего, данные лучше хранить отдельно от кода  :)