Команды HDFS: команды оболочки Hadoop для управления HDFS



В этом блоге рассказывается о различных командах HDFS, таких как fsck, copyFromLocal, expunge, cat и т. Д., Которые используются для управления файловой системой Hadoop.

Команды HDFS

В моем предыдущие блоги , Я уже обсуждал, что такое HDFS, его особенности и архитектура. Первый шаг на пути к выполняет команды HDFS и изучает, как работает HDFS. В этом блоге я расскажу о командах HDFS, с помощью которых вы можете получить доступ к файловой системе Hadoop.

Итак, позвольте мне рассказать вам о важных командах HDFS и их работе, которые наиболее часто используются при работе с файловой системой Hadoop.





  • fsck

Команда HDFS для проверки работоспособности файловой системы Hadoop.

Команда: hdfs fsck /



Состояние файловой системы HDFS - Команды HDFS - Edureka

  • ls

HDFS Команда для отображения списка файлов и каталогов в HDFS.

Команда: HDFSdfs –Ls /



  • mkdir

HDFS Команда для создания каталога в HDFS.

Применение: hdfs dfs –mkdir / имя_каталога

Команда: hdfs dfs –mkdir / new_edureka

Заметка: Здесь мы пытаемся создать каталог с именем «new_edureka» в HDFS.

  • прикоснуться

HDFS Команда для создания файла в HDFS размером 0 байт.

Применение: hdfs dfs –touchz / каталог / имя файла

Команда: hdfs dfs –touchz / new_edureka / sample

Заметка: Здесь мы пытаемся создать файл с именем «sample» в каталоге «new_edureka» hdfs с размером файла 0 байт.

  • из

HDFS Команда для проверки размера файла.

Применение: hdfs dfs –du –s / каталог / имя файла

Команда: hdfs dfs –du –s / new_edureka / sample

  • Кот

HDFS Команда, которая читает файл в HDFS и распечатывает содержимое этого файла на стандартный вывод.

Применение: hdfs dfs –cat / путь / к / file_in_hdfs

Команда: hdfs dfs –cat / new_edureka / test

  • текст

HDFS Команда, которая берет исходный файл и выводит файл в текстовом формате.

Применение: hdfs dfs –text / каталог / имя файла

Команда: hdfs dfs –text / new_edureka / test

  • copyFromLocal

HDFS Команда для копирования файла из локальной файловой системы в HDFS.

Применение: hdfs dfs -copyFromLocal

Команда: hdfs dfs –copyFromLocal / home / edureka / test / new_edureka

Заметка: Здесь тест - это файл, находящийся в локальном каталоге / home / edureka, и после выполнения команды тестовый файл будет скопирован в каталог / new_edureka HDFS.

  • copyToLocal

HDFS Команда для копирования файла из HDFS в локальную файловую систему.

Применение: hdfs dfs -copyToLocal

php создать массив из строки

Команда: hdfs dfs –copyToLocal / new_edureka / test / home / edureka

Заметка: Здесь test - это файл, присутствующий в каталоге new_edureka HDFS, и после выполнения команды тестовый файл будет скопирован в локальный каталог / home / edureka.

  • положил

HDFS Команда для копирования одного или нескольких источников из локальной файловой системы в файловую систему назначения.

Применение: hdfs dfs -put

Команда: hdfs dfs –put / home / edureka / test / user

Заметка: Команда copyFromLocal аналогична команде put, за исключением того, что источник ограничен ссылкой на локальный файл.

  • получить

HDFS Команда для копирования файлов из hdfs в локальную файловую систему.

Применение: hdfs dfs -get

Команда: hdfs dfs –get / user / test / home / edureka

Заметка: Команда copyToLocal аналогична команде get, за исключением того, что место назначения ограничено ссылкой на локальный файл.

  • считать

Команда HDFS для подсчета количества каталогов, файлов и байтов по путям, которые соответствуют указанному шаблону файла.

Применение: hdfsdfs -count

Команда: hdfs dfs –count / user

  • rm

HDFS Команда для удаления файла из HDFS.

Применение: hdfs dfs –rm

Команда: hdfs dfs –rm / new_edureka / test

  • rm -r

HDFS Команда для удаления всего каталога и всего его содержимого из HDFS.

Применение: hdfs dfs -rm -r

Команда: hdfs dfs -rm -r / new_edureka

  • cp

HDFS Команда для копирования файлов из источника в место назначения. Эта команда также позволяет использовать несколько источников, и в этом случае местом назначения должен быть каталог.

Применение: hdfs dfs -cp

Команда: hdfs dfs -cp / пользователь / hadoop / файл1 / пользователь / hadoop / файл2

Команда: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir

  • мв

HDFS Команда для перемещения файлов из источника в место назначения. Эта команда также позволяет использовать несколько источников, и в этом случае местом назначения должен быть каталог.

Применение: hdfs dfs -mv

Команда: hdfs dfs -mv / пользователь / hadoop / файл1 / пользователь / hadoop / файл2

  • стереть

HDFS Команда, которая очищает корзину.

Команда: HDFSdfs-вынуть

  • rmdir

HDFS Команда для удаления каталога.

Применение: hdfs dfs -rmdir

разница между поваром и ансиблем

Команда: hdfs dfs –rmdir / user / hadoop

  • Применение

Команда HDFS, которая возвращает справку по отдельной команде.

Применение: hdfs dfs - использование

Команда: hdfs dfs - использование mkdir

Заметка: Используя команду использования, вы можете получить информацию о любой команде.

  • Помогите

Команда HDFS, которая отображает справку для данной команды или всех команд, если ни одна не указана.

Команда: hdfs dfs -help

Это конец блога о командах HDFS, я надеюсь, что он был информативным и вы смогли выполнить все команды. Для получения дополнительных команд HDFS вы можете обратиться к Apache Hadoopдокументация Вот.

Теперь, когда вы выполнили приведенные выше команды HDFS, проверьте от Edureka, надежной компании по онлайн-обучению с сетью из более чем 250 000 довольных учащихся по всему миру. Учебный курс Edureka Big Data по сертификации Hadoop помогает учащимся стать экспертами в HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume и Sqoop. использование сценариев использования в реальном времени в сфере розничной торговли, социальных сетей, авиации, туризма, финансов.

Есть вопрос к нам? Пожалуйста, укажите это в комментариях, и мы свяжемся с вами.