Python with Omar

كتير من الـ Junior Developers بيكتبوا كده:

SELECT *
FROM users
لكن أي Senior Developer تقريبًا بيتجنب ده في أغلب الحالات.
ليه؟
لأن SELECT * ممكن يعمل مشاكل زي:
تحميل بيانات أكتر من اللازم
تقليل سرعة الـ Query
مشاكل لو اتضاف Columns جديدة في الجدول
الأفضل غالبًا تكتب الأعمدة اللي محتاجها بس:

SELECT id, name, email
FROM users
ده بيخلي الكود:
أسرع ⚡
أوضح
وأسهل في الصيانة
سؤال ليك:
هل بتستخدم SELECT * في الشغل ولا بتتجنبه؟
#DataEngineering #SQL #Programming #TechTips #SoftwareEngineering
نفس البوست بالإنجليزي
Many junior developers write queries like this:

SELECT *
FROM users

But most senior engineers try to avoid it.
Why?
Because SELECT * can cause problems like:
Loading unnecessary data
Slower queries
Issues when new columns are added
Instead, it's better to select only what you need:

SELECT id, name, email
FROM users
Cleaner code.
Better performance.
Easier maintenance.
Question for you:

Do you still use SELECT * or avoid it?
#DataEngineering #SQL #Tech #SoftwareEngineering #Coding

4 months ago | [YT] | 1

Python with Omar

Most Data Engineering projects fail… not because of Spark.

شفت مشاريع Data Engineering متبنية بـ Spark و Airflow و Kafka — كل حاجة technically صح.
ومع ذلك، الداشبوردز دايمًا غلط، الأرقام مش متطابقة، وكل مرة اللوم على “data quality”.

الحقيقة؟
السيستم عمره ما كان متصمّم.
كان مجرد تجميع أدوات.

المشكلة مش في الـ tool.

المشكلة كانت في:

Requirements مش واضحة

Analytics مش فاهمة الفرق بين raw و curated

مفيش ownership حقيقي للبيانات

القرار الصح ماكانش إننا نزود tool جديدة.
القرار كان إننا نوقف كتابة كود، ونبدأ نسأل أسئلة صعبة:

يعني إيه raw data؟
إمتى تبقى curated؟
مين مسؤول لما الأرقام تطلع غلط؟

الـ trade-off؟
بداية أبطأ. اجتماعات أكتر. كود أقل في الأول.

بس إعادة بناء أقل بكتير بعد كده.

A Senior Data Engineer doesn’t design pipelines.
They design systems, ownership, and data contracts.

الـ tools بتيجي بعد كده.

لو فريق الداتا عندك بيعيد بناء pipelines أكتر ما بيحل مشاكل،
فإنت مش عندك مشكلة تقنية — إنت عندك مشكلة design.

السلسلة دي عن طريقة تفكير الـ senior engineers في بناء أنظمة الداتا، مش اختيار الأدوات.

#DataEngineering #SeniorDataEngineer #DataArchitecture #AnalyticsEngineering
#DataPipelines #BigData #DataPlatforms #EngineeringMindset

6 months ago | [YT] | 0