זוהי אפליקציית לינוקס בשם apache spark data pipeline osDQ שניתן להוריד את המהדורה האחרונה שלה בתור osdq-spark_0.0.1.zip. ניתן להפעיל אותו באופן מקוון בספק האירוח החינמי OnWorks עבור תחנות עבודה.
הורד והפעל באינטרנט את האפליקציה הזו בשם apache spark data pipeline osDQ עם OnWorks בחינם.
בצע את ההוראות הבאות כדי להפעיל את האפליקציה הזו:
- 1. הורד את היישום הזה למחשב שלך.
- 2. הזן במנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש שאתה רוצה.
- 3. העלה את היישום הזה במנהל קבצים כזה.
- 4. הפעל את האמולטור המקוון של OnWorks Linux או Windows מקוון או אמולטור מקוון של MACOS מאתר זה.
- 5. ממערכת ההפעלה OnWorks Linux שזה עתה התחלת, עבור אל מנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש הרצוי.
- 6. הורד את האפליקציה, התקן אותה והפעל אותה.
בצילומי מסך
Ad
צינור נתונים של apache spark osDQ
תיאור
זהו פרויקט נצר של פרויקט איכות נתונים בקוד פתוח (osDQ). https://sourceforge.net/projects/dataquality/
תת פרויקט זה ייצור צינור נתונים מבוסס אפאצ'י שבו מטא נתונים (קובץ) מבוססי JSON ישמשו להפעלת עיבוד נתונים, צנרת נתונים, איכות נתונים והכנת נתונים ותכונות מודל נתונים עבור ביג דאטה. זה משתמש ב-Java API של apache spark. זה יכול לפעול גם במצב מקומי.
קבל דוגמה של json ב https://github.com/arrahtech/osdq-spark
איך לרוץ
פתח את קובץ ה-zip
Windows : java -cp .\lib\*;osdq-spark-0.0.1.jar org.arrah.framework.spark.run.TransformRunner -c .\example\samplerun.json
מק UNIX
java -cp ./lib/*:./osdq-spark-0.0.1.jar org.arrah.framework.spark.run.TransformRunner -c ./example/samplerun.json
עבור אלה שמשתמשים ב-Windows, עליך לפתוח את הפצת hadoop בכונן המקומי ולהגדיר את HADOOP_HOME. העתק גם את winutils.exe מכאן אל HADOOP_HOME\bin
תכונות
- צור צנרת נתונים כמו שימוש ב-Join, Filter, Aggregate, הצהרת מקרה
- השתמש באיכות נתונים - החלף, שחרר, הצטרף,
- פרופיל נתונים, פרופיל בסיס עמודות
- Fuzzy Join - מרחק קוסינוס ואחרים
- סיווג ודגימה - יער אקראי, רשת עצבית רב-מעמדית
- נורמליזציה של נתונים - zscore, סטיית תקן, ציון יחס,
- דגימה אקראית, מרובדת, מבוססת מפתח
קהל
טכנולוגיית מידע, קהל אחר, אדריכלים
ממשק משתמש
קונסולה/טרמינל
שפת תכנות
ג'אווה, סקאלה
כל הקטגוריות
זוהי אפליקציה שניתן להביא גם מ-https://sourceforge.net/projects/apache-spark-osdq/. הוא התארח ב-OnWorks על מנת להפעיל אותו באינטרנט בצורה הקלה ביותר מאחת ממערכות ההפעלה החינמיות שלנו.
