Just a short blog about HDFS directory file and memory limits. I’ve recently faced an issue with Hive with the following error message org.apache.hadoop.ipc.RemoteException: The directory item limit of /tmp/hive/hive is exceeded: limit=1048576 items=1048576 The parameter which caused the error above is called dfs.namenode.fs-limits.max-directory-items dfs.namenode.fs-limits.max-directory-items…
Wir benötigen Ihre Zustimmung, bevor Sie unsere Website weiter besuchen können. Wie die Cookies-Verwendung auf unserer Website genau aussieht, findest du in der Datenschutzerklärung. In den Cookie-Einstellungen kannst du selbst entscheiden, welche Kategorien du erlauben möchtest und deine Auswahl jederzeit widerrufen oder ändern. Weitere Informationen zum Datenschutz findest du im Impressum.
Wie die Cookies-Verwendung auf unserer Website genau aussieht, findest du in der Datenschutzerklärung. Weitere Informationen zum Datenschutz findest du im Impressum. Hier findest Du eine Übersicht über alle verwendeten Cookies. Du kannst Deine Einwilligung zu ganzen Kategorien geben oder Dir weitere Informationen anzeigen lassen und so nur bestimmte Cookies auswählen.