Subscribe Now
Trending News
05 Okt 2022
Agile Data Warehouse, Big Data, BigData, Business Intelligence, Cloud, Data Warehouse, Events, ...

Online Python & Kafka Workshop im Vorlesungsstil 

In einem Workshop Format, stundenweise verteilt über mehrere Wochen im Vorlesungsstil, gibt es ab 8.2.2021 ein super spannendes Online Training zum Thema Python & Kafka bei der Trivadis. Für alle BI-ler und Entwickler im DWH- und Big-Data Umfeld, aber auch Datenanalysten und -architekten, ist dieser…

BigData, Hadoop, hdfs, hive, namenode

Hadoop HDFS maximum number of files 

Just a short blog about HDFS directory file and memory limits. I’ve recently faced an issue with Hive with the following error message org.apache.hadoop.ipc.RemoteException: The directory item limit of /tmp/hive/hive is exceeded: limit=1048576 items=1048576 The parameter which caused the error above is called dfs.namenode.fs-limits.max-directory-items dfs.namenode.fs-limits.max-directory-items…