Як вивести рядки з nan до pandas: вирішення проблеми з відображенням порожніх значень
Щоб вивести рядки з NaN Pandas, можна використовувати метод dropna для видалення рядків, що містять пропущені значення.
import pandas as pd # Створення DataFrame з пропущеними значеннями data = df = pd.DataFrame(data) # Виведення рядків з NaN значеннями df_with_nan = df[df.isnull().any(axis=1)]
У цьому прикладі створюється DataFrame df з кількома шпальтами, що містять пропущені значення NaN . Потім з допомогою методу isnull() визначаємо, які значення рівні NaN . Функція any(axis=1) повертає True якщо в рядку є хоча б одне NaN значення. Ми використовуємо цю умову для фільтрації рядків з значеннями NaN і виведення їх на екран. Якщо вам потрібно також видалити рядки з значеннями NaN з вихідного DataFrame, ви можете використовувати метод dropna наступним чином:
# Видалення рядків з значеннями NaN df.dropna(inplace=True) print(df)
У цьому прикладі ми використовуємо метод dropna з параметром inplace=True , щоб видалити рядки з значеннями NaN безпосередньо з вихідного DataFrame df . Результат буде виведений на екран без рядків, що містять значення NaN.
Детальна відповідь
Як вивести рядки з nan до pandas?
У бібліотеці pandas, Pandas DataFrame є важливим інструментом для аналізу та маніпуляції даних. Стовпці DataFrame можуть містити різні типи даних, включаючи значення NaN, які представляють відсутність даних. При роботі з DataFrame виникає необхідність вивести лише рядки, що містять значення NaN, щоб проаналізувати відсутні дані або виконати додаткові операції. У цій статті ми розглянемо різні способи вивести рядки з NaN pandas.
Метод dropna()
Метод dropna() дозволяє видалити рядки, що містять хоча б одне значення NaN. Він є зручним способом виключити відсутні значення з аналізу. Приклад використання методу dropna() для виведення рядків з NaN:
import pandas as pd # Створення DataFrame зі значеннями NaN df = pd.DataFrame() # Виведення рядків з NaN df_with_nan = df.dropna() print(df_with_nan)
Цей код створить DataFrame з кількома значеннями NaN і виведе лише рядки, які містять жодного значення NaN. Результатом буде DataFrame, що містить лише рядки з повними даними.
Метод isna()
Метод isna() використовується для перевірки наявності значень NaN DataFrame. Він повертає DataFrame тієї ж форми, що й вихідний DataFrame, але заповнений значеннями True і False залежно від наявності NaN у кожному осередку. Приклад використання методу isna() для виведення рядків з NaN:
import pandas as pd # Створення DataFrame зі значеннями NaN df = pd.DataFrame() # Перевірка на наявність NaN is_nan = df.isna() df_with_nan = df[is_nan.any(axis=1)] print(df_with_nan)
Цей код створює DataFrame з кількома значеннями NaN і потім використовує метод isna() для перевірки на наявність NaN у кожному осередку. Потім використовується метод any(axis=1) для перевірки, чи містить хоча б один осередок у рядку значення NaN. Результатом буде DataFrame, що містить лише рядки з хоча б одним значенням NaN.
Метод isnull()
Метод isnull() є альтернативним способом перевірки наявності значень NaN DataFrame. Він повертає DataFrame тієї ж форми, що й вихідний DataFrame, але заповнений значеннями True і False залежно від того, чи кожна комірка NaN чи ні. Приклад використання методу isnull() для виведення рядків з NaN:
import pandas as pd # Створення DataFrame зі значеннями NaN df = pd.DataFrame() # Перевірка на наявність NaN is_null = df.isnull() df_with_nan = df[is_null.any(axis=1)] print(df_with_nan)
Цей код створює DataFrame з кількома значеннями NaN і потім використовує метод isnull() для перевірки наявності NaN у кожному осередку. Потім використовується метод any(axis=1) для перевірки, чи містить хоча б один осередок у рядку значення NaN.Результатом буде DataFrame, що містить лише рядки з хоча б одним значенням NaN.
Метод loc()
Метод loc() дозволяє вибирати дані на основі певних умов. Використовуючи метод loc(), можна вибирати ті рядки, які задовольняють певній умові, наприклад, наявності значення NaN. Приклад використання методу loc() для виведення рядків з NaN:
import pandas as pd # Створення DataFrame зі значеннями NaN df = pd.DataFrame() # Виведення рядків з NaN df_with_nan = df.loc[df.isna().any(axis=1)] print(df_with_nan)
Цей код створює DataFrame з кількома значеннями NaN і потім використовує метод loc() з умовою df.isna().any(axis=1), щоб вибрати лише рядки з хоча б одним значенням NaN. Результатом буде DataFrame, що містить лише рядки з хоча б одним значенням NaN.
Метод notna()
Метод notna() виконує протилежну операцію стосовно методу isna(). Він повертає DataFrame тієї ж форми, що і вихідний DataFrame, але заповнений значеннями True і False, де False відповідає осередкам NaN, і True - ненульовим значенням. Приклад використання методу notna() для виведення рядків з NaN:
import pandas as pd # Створення DataFrame зі значеннями NaN df = pd.DataFrame() # Перевірка на відсутність NaN not_nan = df.notna() df_with_nan = df[not_nan.any(axis=1)] print(df_with_nan)
Цей код створить DataFrame з кількома значеннями NaN і потім використовує метод notna() для перевірки відсутності NaN у кожному осередку. Потім використовується метод any(axis=1) для перевірки, чи містить хоча б один осередок у рядку ненульового значення. Результатом буде DataFrame, що містить лише рядки з хоча б одним значенням NaN.
Висновок
Ви можете використовувати різні методи в бібліотеці pandas для виведення рядків з NaN DataFrame.Метод dropna() дозволяє видалити рядки з NaN, методи isna() та isnull() використовуються для перевірки наявності NaN у кожному осередку, метод loc() дозволяє виконувати вибірку рядків на основі умов, і метод notna() виконує протилежну операцію. Виберіть відповідний метод залежно від ваших потреб та необхідних операцій з даними. Завжди пам'ятайте, що обробка відсутніх даних є важливим аспектом аналізу даних і може вплинути на результати дослідження. Сподіваюся, цей матеріал допоможе вам краще зрозуміти роботу з NaN pandas і застосовувати відповідні методи для виведення рядків з NaN у вашому аналізі даних.
Методи pandas для роботи з None та NaN у DataFrame/Series
Методи DataFrame.isna() і Series.isna() знаходять значення, такі як None або numpy.NaN у DataFrame та Series відповідно.
Повертають логічний об'єкт того ж розміру - маску логічних значень для кожного елемента DataFrame / Series , яка вказує, чи є елемент значенням NA .
Значення NA, такі як None чи numpy.NaN, зіставляється зі значеннями True. Решта зіставляється зі значеннями False .
Увага! Такі символи, як порожні рядки '' або numpy.inf , не вважаються значеннями NA (якщо встановлено pandas.options.mode.use_inf_as_na=True ).
Як подивитися записи в DataFrame є NA .
>>>
import
pandas
as
pd
>>>
import
numpy
as
np
df
=
pd.DataFrame(dict(age=[5,
6,
np.nan],
born=[pd.NaT,
pd.Timestamp('1939-05-27'),
pd.Timestamp('1940-04-25')],
name=['Alfred',
'Batman',
''],
toy=[None,
'Batmobile',
'Joker']))
>>>
df
# age born name toy
# 0 5.0 NaT Alfred None
# 1 6.0 1939-05-27 Batman Batmobile
# 2 NaN 1940-04-25 Joker
# осередки з `NA` будуть `True`
>>>
df.isna()
# age born name toy
# 0 False True False True
# 1 False False False False
# 2 True False False False
Щоб переглянути рядки DataFrame , які містять NA можна використовувати метод DataFrame.any() :
>>>
df.isna().any(axis=1)
# 0 True
# 1 False
# 2 True
# dtype: bool
Тепер, використовуючи "логічну індексацію" виведемо самі рядки DataFrame , що містять NA :
>>>
df.loc[df.isna().any(axis=1)]
# age born name toy
# 0 5.0 NaT Alfred None
# 2 NaN 1940-04-25 Joker
Передаючи заперечення ~ логічної індексації, можна вивести рядки, які НЕ містять NA:
>>>
df.loc[~df.isna().any(axis=1)]
# age born name toy
# 1 6.0 1939-05-27 Batman Batmobile
Покажемо, які записи в Series є NA .
>>>
ser
=
pd.Series([5,
6,
np.nan])
>>>
ser
# 0 5.0
# 1 6.0
# 2 NaN
# dtype: float64
>>>
ser.isna()
# 0 False
# 1 False
# 2 True
# dtype: bool
# та застосовуємо логічну індексацію
>>>
ser[ser.isna()]
# 2 NaN
# dtype: float64
# Рядки НЕ містять `NA`
>>>
ser[~ser.isna()]
# 0 5.0
# 1 6.0
# dtype: float64
- DataFrame.notna() :
- Series.notna() :
Методи DataFrame.notna() та Series.notna() знаходять НЕ ПОРОЖНІ значення в DataFrame та Series відповідно.
Повертає логічний об'єкт того ж розміру - маску логічних значень для кожного елемента в DataFrame / Series , яка вказує на НЕ ПОРОЖНІ значення.
НЕ ПОРОЖНІ Значення зіставляються з True. Значення NA, такі як None або numpy.NaN, будуть зіставлені значенням False.
Увага! Символи, такі як "пусті рядки" або numpy.inf , не вважаються значеннями NA (якщо не встановлено pandas.options.mode.use_inf_as_na=True ).
df
=
pd.DataFrame(dict(age=[5,
6,
np.nan],
born=[pd.NaT,
pd.Timestamp('1939-05-27'),
pd.Timestamp('1940-04-25')],
name=['Alfred',
'Batman',
''],
toy=[None,
'Batmobile',
'Joker']))
>>>
df
# age born name toy
# 0 5.0 NaT Alfred None
# 1 6.0 1939-05-27 Batman Batmobile
# 2 NaN 1940-04-25 Joker
>>>
df.notna()
# age born name toy
# 0 True False True False
# 1 True True True True
# 2 False True True True
Щоб переглянути всі рядки DataFrame , які НЕ МІСТЬ NA можна застосувати метод DataFrame.all() :
>>>
df.notna().all(axis=1)
# 0 False
# 1 True
# 2 False
# dtype: bool
Тепер, використовуючи "логічну індексацію" виведемо самі рядки DataFrame :
>>>
df.loc[df.notna().all(axis=1)]
# age born name toy
# 1 6.0 1939-05-27 Batman Batmobile
Передаючи заперечення ~ логічної індексації, можна вивести рядки, що містять NA:
>>>
df.loc[~df.notna().all(axis=1)]
# age born name toy
# 0 5.0 NaT Alfred None
# 2 NaN 1940-04-25 Joker
Перейдемо до Series і покажемо, які записи НЕ є NA .
>>>
ser
=
pd.Series([5,
6,
np.nan])
>>>
ser
# 0 5.0
# 1 6.0
# 2 NaN
# dtype: float64
>>>
ser.notna()
# 0 True
# 1 True
# 2 False
# dtype: bool
# застосовуємо логічну індексацію
>>>
ser[ser.notna()]
# 0 5.0
# 1 6.0
# dtype: float64
# тепер рядки, що містять `NA`
>>>
ser[~ser.notna()]
# 2 NaN
# dtype: float64
- DataFrame.isnull() :
- Series.isnull() :
Методи DataFrame.isnull() та Series.isnull() є псевдонімами методів DataFrame.isna() та Series.isna() .
- DataFrame.notnull() :
- Series.notnull() :
Методи DataFrame.notnull() та Series.notnull() є псевдонімами методів DataFrame.notna() та Series.notna() .
DataFrame.dropna(*, axis=0, how=no_default, thresh=no_default, subset=None, inplace=False, ignore_index=False) :
Метод DataFrame.dropna() повертає новий DataFrame з віддаленими записами NA або None .
- axis : чи видаляються рядки або стовпці, що містять пропущені значення. Допускається використання лише однієї осі. Приймає значення:
- 0 або 'index': видаляє рядки, що містять пропущені значення.
- 1 або 'columns' : видаляє стовпці, які містять пропущені значення.
Приклади використання DataFrame.dropna() :
>>>
df
=
pd.DataFrame("name":
['Alfred',
'Batman',
'Catwoman'],
.
"toy":
[np.nan,
'Batmobile',
'Bullwhip'],
.
"born":
[pd.NaT,
pd.Timestamp("1940-04-25"),
.
pd.NaT]>)
>>>
df
# name toy born
# 0 Alfred NaN NaT
# 1 Batman Batmobile 1940-04-25
# 2 Catwoman Bullwhip NaT
Видаляємо рядки, в яких відсутній хоча б один елемент.
>>>
df.dropna()
# name toy born
# 1 Batman Batmobile 1940-04-25
Видаляємо стовпці, в яких відсутній хоча б один елемент.
>>>
df.dropna(axis='columns')
# name
# 0 Alfred
# 1 Batman
# 2 Catwoman
Видаляємо рядки, де відсутні всі елементи.
>>>
df.dropna(how='all')
# name toy born
# 0 Alfred NaN NaT
# 1 Batman Batmobile 1940-04-25
# 2 Catwoman Bullwhip NaT
Залишаємо тільки рядки, що містять як мінімум два значення, відмінні від NA.
>>>
df.dropna(thresh=2)
# name toy born
# 1 Batman Batmobile 1940-04-25
# 2 Catwoman Bullwhip NaT
Визначаємо, в яких шпальтах шукати пропущені значення.
>>>
df.dropna(subset=['name',
'toy'])
# name toy born
# 1 Batman Batmobile 1940-04-25
# 2 Catwoman Bullwhip NaT
Series.dropna(*, inplace=False, ignore_index=False) :
Метод Series.dropna() повертає нову Series з віддаленими записами NA або None .
- inplace : чи слід змінювати Series замість створення нової. Значення за промовчанням False.
- ignore_index : Якщо значення True , то результуюча вісь буде позначена як 0, 1, . n - 1. Значення за промовчанням False.
Приклади використання Series.dropna() :
>>>
ser
=
pd.Series([1.,
2.,
np.nan])
>>>
ser
# 0 1.0
# 1 2.0
# 2 NaN
# dtype: float64
Видаляємо значення NA із серії.
>>>
ser.dropna()
# 0 1.0
# 1 2.0
# dtype: float64
Порожні рядки не вважаються значеннями NA. None вважається значенням NA.
>>>
ser
=
pd.Series([np.nan,
2,
pd.NaT,
'',
None,
'I stay'])
>>>
ser
# 0 NaN
# 1 2
# 2 NaT
# 3
# 4 None
# 5 I stay
# dtype: object
>>>
ser.dropna()
# 1 2
# 3
# 5 I stay
# dtype: object
- DataFrame.fillna(value=None, *, axis=None, inplace=False, limit=None, downcast=no_default) :
- Series.fillna(value=None, *, inplace=False, limit=None, downcast=no_default) :
Методи DataFrame.fillna() і Series.fillna() заповнюють значення None / NA / NaN значенням, переданим у value в DataFrame і Series відповідно.
- value : значення, що використовується для заповнення (наприклад, 0), або dict / Series / DataFrame значень, що визначають, яке значення використовуватиме кожного індексу (Series ) чи стовпця (для DataFrame ). Значення, відсутні в dict/Series/DataFrame, не будуть заповнені. Значення значення не може бути списком.
- axis : вісь, за якою заповнюються відсутні значення. Для Series цей аргумент не використовується і за умовчанням дорівнює 0. Для DataFrame може приймати значення: 0 або 'index', 1 або 'columns'.
- inplace : якщо True змінює DataFrame / Series на місці. Примітка: це призведе до зміни будь-яких інших уявлень цього об'єкта (наприклад, фрагмента без копіювання для стовпця DataFrame ).
- limit: це максимальна кількість записів по всій осі axis, де будуть заповнені NaN. Має бути більше 0, якщо не None .
- downcast : приймає словник - того, що потрібно знизити в розмірності, якщо це можливо, або рядок 'infer' , який спробує привести до відповідного рівного типу (наприклад, float64 в int64 якщо це можливо).
Приклади використання DataFrame.fillna() :
>>>
df
=
pd.DataFrame([[np.nan,
2,
np.nan,
0],
.
[3,
4,
np.nan,
1],
.
[np.nan,
np.nan,
np.nan,
np.nan],
.
[np.nan,
3,
np.nan,
4]],
.
columns=list("ABCD"))
>>>
df
# A B C D
# 0 NaN 2.0 NaN 0.0
# 1 3.0 4.0 NaN 1.0
# 2 NaN NaN NaN NaN
# 3 NaN 3.0 NaN 4.0
Замінюємо усі елементи NaN на 0.
>>>
df.fillna(0)
# A B C D
# 0 0.0 2.0 0.0 0.0
# 1 3.0 4.0 0.0 1.0
# 2 0.0 0.0 0.0 0.0
# 3 0.0 3.0 0.0 4.0
Замінюємо всі елементи NaN в стовпцях 'A', 'B', 'C' та 'D' на 0, 1, 2 та 3 відповідно.
>>>
values
=
"A":
0,
"B":
1,
"C":
2,
"D":
3>
>>>
df.fillna(value=values)
# A B C D
# 0 0.0 2.0 2.0 0.0
# 1 3.0 4.0 2.0 1.0
# 2 0.0 1.0 2.0 3.0
# 3 0.0 3.0 2.0 4.0
Замінюємо лише перший елемент NaN.
>>>
df.fillna(value=values,
limit=1)
# A B C D
# 0 0.0 2.0 2.0 0.0
# 1 3.0 4.0 NaN 1.0
# 2 NaN 1.0 NaN 3.0
# 3 NaN 3.0 NaN 4.0
При заповненні за допомогою DataFrame заміна відбувається за тими ж іменами стовпців і тими ж індексами:
>>>
df2
=
pd.DataFrame(np.zeros((4,
4)),
columns=list("ABCE"))
>>>
df.fillna(df2)
# A B C D
# 0 0.0 2.0 0.0 0.0
# 1 3.0 4.0 0.0 1.0
# 2 0.0 0.0 0.0 NaN
# 3 0.0 3.0 0.0 4.0
Зверніть увагу, що стовпець 'D' не торкається, оскільки він відсутній df2 .
- КОРОТКИЙ ОГЛЯД МАТЕРІАЛУ.
- Об'єкт DataFrame модуля pandas
- Об'єкт Series модуля pandas
- Об'єкт Index модуля pandas
- Об'єкт MultiIndex модуля pandas
- Логічна індексація у pandas
- Використання регулярних виразів у Pandas
- Відбір та фільтрація даних у Pandas
- Методи ітерації щодо об'єктів pandas
- Аналіз логів Nginx модулем pandas
- Порівняння pandas з SQL
- Властивості .loc[], .iloc[] об'єктів Series/DataFrame в pandas
- Метод .truncate() об'єктів Series/DataFrame в pandas
- Метод .take() об'єктів DataFrame/Series/Index в pandas
- Метод Series.between() модуля pandas
- Метод .between_time() об'єктів DataFrame/Series у pandas
- Методи pandas для роботи з None та NaN у DataFrame/Series
- Метод .interpolate() об'єктів Series/DataFrame в pandas
- Методи .duplicated() та .drop_duplicates() об'єктів DataFrame/Series в pandas
- Метод .sort_values() та .sort_index() об'єктів Series/DataFrame в pandas
- Метод .value_counts() об'єктів DataFrame/Series у pandas
- Методи .nsmallest() і .nlargest() об'єктів Series/DataFrame в pandas
- Метод DataFrame.query() модуля pandas
- Методи .apply() та .map() об'єктів DataFrame/Series у pandas
- Метод .isin() об'єктів DataFrame/Series в pandas
- Метод DataFrame.assign() модуля pandas
- Метод DataFrame.insert() модуля pandas
- Методи .mask() і .where() об'єктів Series/DataFrame в pandas
- Метод .groupby() об'єктів DataFrame/Series у pandas
- Клас Grouper() модуля pandas
- Метод .transform() об'єктів DataFrame/DataFrameGroupBy в pandas
- Метод .aggregate() об'єктів Series/DataFrame в pandas
- Метод DataFrame.join() в pandas, об'єднання DataFrame
- Метод DataFrame.merge() в pandas, злиття у стилі БД
- Функція concat() бібліотеки pandas
- Метод DataFrame.set_index() в pandas
- Методи .all() і .any() об'єктів Series/DataFrame в pandas
- Метод .resample() об'єктів Series/DataFrame в pandas
- Метод .reindex() об'єктів Series/DataFrame в pandas
- Метод .drop() об'єктів Series/DataFrame в pandas
- Метод DataFrame.set_axis() в pandas
- Методи .rename() і .rename_axis() об'єктів Series/DataFrame в pandas
- Метод .reset_index() об'єктів Series/DataFrame в pandas
- Універсальний метод .replace() об'єктів Series/DataFrame в pandas
- Методи рядків об'єктів Series/Index у pandas, об'єкт Series.str
- Доступ до методів datetime об'єктів Series/index в pandas
- Псевдоніми періодів тимчасових рядів pandas
- Методи pivot() та pivot_table() об'єкта DataFrame в pandas
- Методи .stack() та .unstack() об'єкта DataFrame в pandas
- Функція melt() та wide_to_long() модуля pandas
- Функція get_dummies() та from_dummies() модуля pandas
- Метод .explode() об'єктів Series/DataFrame в pandas
- Функція crosstab() модуля pandas
- Функція модуля factorize() pandas
- Функція cut() модуля pandas, інтервали для угруповання
- Метод DataFrame.rolling() модуля pandas
- Метод DataFrame.expanding() модуля pandas
- Об'єкти Timestamp і DatetimeIndex в pandas
- Функція to_datetime() модуля pandas
- Функція date_range() модуля pandas
- Об'єкти Categorical і CategoricalIndex модуля pandas
- Об'єкти Interval та IntervalIndex модуля pandas
- Функція interval_range() модуля pandas
- Об'єкти Period та PeriodIndex модуля pandas
- Метод to_period() об'єктів DatetimeIndex/DataFrame/Series в pandas
- Функція period_range() модуля pandas
- Об'єкт RangeIndex модуля pandas
- Функція read_csv() модуля pandas
- Створення DataFrame з декількох CSV файлів в pandas
- Читання файлів зі стовпцями фіксованої ширини в pandas
- Метод DataFrame.to_csv() модуля pandas
- Функція read_excel() модуля pandas
- Метод DataFrame.to_excel() модуля pandas
- Функція read_sql() модуля pandas
- Метод DataFrame.to_sql() модуля pandas
- Приклади групових операцій на pandas зі StackOverflow
- Метод round() об'єктів Series/DataFrame в pandas
- Функція to_numeric() модуля pandas
- Метод .compare() об'єктів Series/DataFrame в pandas
- Метод .align() об'єктів Series/DataFrame в pandas
- Polars швидка бібліотека DataFrame для Python
- Пакет FireDucks, швидкий та повністю сумісний з API pandas