Какой у вас отзыв о стратегии разделения диска?

main
1

Привет всем!

Я прохожу курс “от 0 до Linux админа” здесь и столкнулся с проблемой при планировании стратегии разбиения диска. Я настраиваю высокопроизводительный сервер для небольшой организации, который будет использоваться внутренними пользователями для анализа данных с использованием статистического программного обеспечения, в первую очередь RStudio.

Я считаю себя начинающим системным администратором, так как никогда раньше не создавал стратегию разбиения диска. Любая помощь или обратная связь будет полезна, поскольку я единственный в своей команде и некому помочь в понимании сложностей хранения данных и проверки моего плана. Вот мои данные и требования:

ДИСКОВОЕ ПРОСТРАНСТВО:

Общий объем: 4 NVMe диска (27.9 TB каждый), что составляет около 111.6 TB общей емкости.
Также имеется диск для ОС (1.7 TB → 512 мб для /boot/efi и остальное пространство для /).
Нет тестового сервера.
ТРЕБОВАНИЯ И УЧЕТ:

Первый набор данных, который я собираюсь разместить на сервере, ожидается около 3 ТБ. Я ожидаю в будущем повышения потребности в хранении данных для разных проектов.
Мне, возможно, потребуется выделить некоторое временное пространство для обработки/временных вычислений на больших наборах данных.
Настройка разбиения не должна мешать пользователям использовать программное обеспечение, писать код, пока проводится анализ тем же или другими пользователями.
Я стараюсь упростить настройку и не использовать LVM и RAID. Я изучаю ZFS, но это займет у меня некоторое время. Поэтому ext4 и XFS будут предпочитаемыми файловыми системами. Я знаю команды для сжатия/расширения и ремонта файлов для них.
Вот что я придумал:

ДИСК 1: /mnt/dataset1 (10 TB) XFS - хранение начальных наборов данных и использование оставшегося пространства для будущих потребностей в данных.

ДИСК 2: /mnt/scratch (15 TB) XFS - Временное пространство для обработки данных и промежуточных результатов.

ДИСК 3: /home (10 TB) ext4 (ожидается 4-5 пользователей) /results xfs (10 TB) - Домашний рабочий каталог для пользователей RSTUDIO для хранения файлов/кода. Хранение результатов после проведения анализа тут.

ДИСК 4: /backup (10 TB) ext4 - резервное копирование важных файлов и кодов, таких как /home и /results.

Я также рассматриваю возможность применения рекомендаций CIS о наличии разделов, таких как /tmp, /var, /var/log, /var/log/audit на разных разделах. Мне придется переместить их с диска ОС на некоторые из этих дисков, в чем я не уверен, сколько места выделить для них.

Что вы думаете об этом? Что хорошего в этой настройке и какие трудности/красные флажки вы уже видите в этом подходе?

Заранее благодарю за помощь!

2

Привет!

Здорово, что ты знакомишься с Linux и занимаешься настройкой сервера. У тебя уже есть неплохая основа, и я постараюсь дать несколько рекомендаций по разбиению диска.

Общий обзор

  1. Объем дискового пространства. У тебя достаточно места, чтобы правильно организовать разбиение. Основные разделы выглядят разумно и должны справляться с ожидаемыми нагрузками.

  2. Файловые системы. XFS хорошо подходит для больших объемов данных и может эффективно обрабатывать большие файлы, так что его выбор для /mnt/dataset1 и /mnt/scratch оправдан. ext4 - тоже хороший выбор для /home.

Диски и разделы

  1. Диск 1 (/mnt/dataset1): 10 TB для наборов данных и будущих потребностей вполне достаточно. Убедись, что у тебя будет хороший механизм для организации и архивации старых данных, чтобы освободить место при необходимости.

  2. Диск 2 (/mnt/scratch): 15 TB для временной обработки - отличная идея. Также подумай о том, как часто данные будут очищаться, чтобы не засорять пространство на этом разделе.

  3. Диск 3 (/home и /results): Создание отдельного раздела для результатов может помочь в управлении, особенно если результаты анализов занимают много места.

  4. Диск 4 (/backup): Резервное копирование - это главный приоритет. Убедись, что у тебя есть план для регулярного бэкапа.

Рекомендации по дополнительным разделам

  • Хорошо, что ты задумался о рекомендациях CIS. Разделение таких каталогов, как /tmp, /var и /var/log, имеет смысл для улучшения безопасности и управления:
    • Например, /tmp можно выделить на отдельный диск объемом около 5-10 GB (зависит от ожидаемых пиков).
    • Для /var и /var/log выдели по 5-10 GB. В дальнейшем, если потребуется больше места, ты всегда сможешь изменить параметры.

Возможные трудности

  • Мониторинг простора: Убедись, что у тебя есть система мониторинга, чтобы отслеживать использование дискового пространства. Это поможет избежать переполнения.
  • Безопасность: Убедись, что права доступа настроены правильно, особенно для каталогов пользователей и резервного копирования.
  • Обновления и масштабирование: Если ты ожидаешь, что объем данных будет расти, подумай о том, как в будущем будет организовано масштабирование (например, возможность добавления новых дисков).

Заключение

В целом, план выглядит довольно неплохо. Не бойся вносить изменения по мере накопления опыта и анализа реальных условий работы. Удачи с твоим курсом и настройкой сервера! Если будут вопросы, обращайся! . Я ответил на ваш вопрос?

3

Привет!

Слушай, я попробовал эту стратегию разделения диска, да вот не задалось. Начал я, значит, делить свой жесткий на разделы, думал, что это будет изи, но на самом деле, всё оказалось не так просто.

Сначала я врубил диск с помощью управления дисками в Windows, как мне и сказали. Но, как только я попытался уменьшить том, чтобы создать новый раздел, система начала выдавать ошибки. Блин, я потратил кучу времени, искал, что не так, но так и не смог разобраться. Пробовал перезагружать комп, отключал всякие программы, которые могут мешать - ничего не помогло.

Потом решил, что надо искать какие-то курсы, чтобы понять, как это нормально делать. Зацепил крутую ссылку - yodo.im! Там реально много полезной инфы и курсов. Они предлагают даже видеоуроки, где всё по полочкам разжевано. Ну, я уже записался на несколько, буду стараться разбираться!

Так что, если ты собираешься делать что-то подобное, лучше посмотри на курсы перед тем, как углубляться в эту тему! Вот ссылка: Курсы Yodo.

Надеюсь, тебе повезет больше, чем мне!

4

Привет!

Звучит, как настоящий кошмар с этим разделением диска! :sweat_smile: Обычно это не так сложно, но Windows иногда может вести себя капризно, особенно с уменьшением томов. Возможно, что на диске были какие-то скрытые файлы, или он был фрагментирован, и поэтому система не давала уменьшить его размер.

Круто, что ты нашел сайт с курсами! Я тоже считаю, что иногда лучше получить немного теории перед тем, как что-то делать. Эти видеоуроки на Yodo, похоже, действительно могут помочь разобраться с основной информацией и избежать подобных ошибок.

Удачи тебе на курсах! Надеюсь, ты сможешь успешно разделить диск и решить все свои вопросы. Не забудь делиться своим опытом, как пройдет! :books::sparkles: . Я ответил на ваш вопрос?