Merge pull request #14209 from poettering/sd-bus-sensitive

sd-bus bits from homed PR

Merge pull request #14221 from poettering/homed-preparatory-resizefs

preparatory fs resizing support split out of homed PR

Merge pull request #14229 from yuwata/nspawn-network-interface-14223

nspawn: do not fail if udev is not running

Merge pull request #14173 from ssahani/tc-sfq

network: tc: introduce sfq and tbf

Merge pull request #14219 from poettering/homed-preparatory-loop

preparatory /dev/loopN support split out of homed PR

network: if /sys is rw, then udev should be around

This switches detect_container() to path_is_read_only_rw("/sys"), as if
systemd-udevd.service is conditionalized with that way.

This also updates the log message.

nspawn: do not fail if udev is not running

If /sys is read only filesystem, e.g., nspawn is running in container,
then usually udev is not running. In such a case, let's assume that
the interface is already initialized. Also, this makes nspawn refuse
to use the network interface which is under renaming.

Fixes #14223.

Implement SNI when using DNS-over-TLS

Some DNS providers need SNI to identify client.

This can be used by adding #name to a DNS.
Example:
[Resolve]
DNS=192.168.1.1#example.com

Merge pull request #14111 from keszybz/unknown-section-warning

Warn about unknown sections

sd-bus: don't include properties maked as "emit-invalidation" in InterfacesAdded signals

Properties marked this way really shouldn't be sent around willy-nilly,
that's what the flag is about, hence exclude it from InterfacesAdded
signals (and in fact anything that is a signal).

sd-bus: add new call sd_bus_message_sensitive() and SD_BUS_VTABLE_SENSITIVE

This allows marking messages that contain "sensitive" data with a flag.
If it's set then the messages are erased from memory when the message is
freed.

Similar, a flag may be set on vtable entries: incoming/outgoing message
matching the entry will then automatically be flagged this way.

This is supposed to be an easy method to mark messages containing
potentially sensitive data (such as passwords) for proper destruction.

(Note that this of course is only is as safe as the broker in between is
doing something similar. But let's at least not be the ones at fault
here.)

Merge pull request #13953 from SpencerMichaels/systemd-boot-efistub-id-fix

boot: Fix default/oneshot selection for EFISTUB entries

Merge pull request #14218 from poettering/homed-preparatory-small-stuff

Assorted smaller stuff split out from homed PR

Merge pull request #13886 from poettering/sd-event-pidfd

add pidfd support to sd-event (but not yet PID 1)

test-network: add a test case for SFQ

network: SFQ cannot be configured with netem or TBF

network: tc introduce sfq - Stochastic Fairness Queueing

Stochastic Fairness Queueing is a classless queueing discipline.
SFQ does not shape traffic but only schedules the transmission of packets, based on 'flows'.
The goal is to ensure fairness so that each flow is able to send data in turn,
thus preventing any single flow from drowning out the rest.

test-network: add test case for TBF

network: drop unnecessary headers

network: make network_emulator_fill_message() take NetworkEmulator

network: rename QDiscs to QDisc

network: ignore sections which have both NetworkEmulator and TokenBufferFilter settings

networkd tc: introduce tbf

See https://linux.die.net/man/8/tc-tbf

shared: add new wrapper for online fs resizing ioctls

missing: add XFS magic

main-func: send main exit code to parent via sd_notify() on exit

So far we silently convert negative return values from run() as
EXIT_FAILURE, which is how UNIX expects it. In many cases it would be
very useful for the caller to retrieve the actual error number we exit
with. Let's generically return that via sd_notify()'s ERRNO= attribute.
This means callers can set $NOTIFY_SOCKET and get the actual error
number delivered at their doorstep just like that.

process-util: add new safe_fork() flag for connecting stdout to stderr

This adds a new safe_fork() flag. If set the child process' fd 1 becomes
fd 2 of the caller. This is useful for invoking tools (such as various
mkfs/fsck implementations) that output status messages to stdout, but
which we invoke and don't want to pollute stdout with their output.

tmpfile-util: modernize mkostemp_safe() a bit

tmpfile-util: if no path is passed to fopen_temporary() make one up

Let's beef up functionality a bit, and modernize the whole function.

user-util: add uid_is_container() for checking whether UID is in container range

We have similar calls for the dynamic user and system range, let's add
this too here.

user-util: export is_nologin_shell() so that we can use it elsewhere

man: document journal rate limit burst multiplier

The actual burst limit is modified by the remaining disk space. This
isn't mentioned anywhere in the available documentation and might be a
source of surprise for an end user expecting certain behaviors.

string-util: readd string_erase()

This was dropped in 8e27167cc9b8beda2bf49789b15f0b0301b95d17, but is
actually useful for some usecases still.

memory-util: introduce erase_and_free() helper

errno-util: add new ERRNO_IS_DISK_SPACE() helper

ordered-set: add ordered_set_first() helper

parse-util: sometimes it is useful to check if a string is a valid integer, but not actually parse it

sd-boot: Add a 0.1 second delay before key-probing for showing menu

If there is no boot menu timeout, pressing a key during boot should get
the boot menu displayed. However, on some systems the keyboard is not
initialized right away, which causes the menu to be inaccessible if no
timeout is specified.

To resolve this, if the error is "not ready" after the initial attempt of
detection, wait for 0.1 second and retry. This solves the problem
described above on all the tested systems.

The reason for just a single retry, and not retrying while "not ready",
is that some firmwares continue to return the "not ready" error on
every probe attempt if no key is pressed.

Signed-off-by: Leonid Bloch <lb.workbox@gmail.com>

sd-event: refuse running default event loops in any other thread than the one they are default for

man: document the new sd-event pidfd magic

man: mention that SIGCHLD has to be blocked before using sd_event_add_child()

man: don't claim we'd unblock the specified signal in sd_event_add_signal()

We don't, the signal remains blocked. We use signalfd() to be able to
read the signal events without unblocking the signal.

While we are at it, mention that pthread_sigmask() is fine too.

test: add test for pidfd support in sd-event

sd-event: refuse sd_event_add_child() if SIGCHLD is not blocked

We already refuse sd_event_add_signal() if the specified signal is not
blocked, let's do this also for sd_event_add_child(), since we might
need signalfd() to implement this, and this means the signal needs to be
blocked.

sd-event: make use of new signal_is_blocked() helper

signal-util: add new helper signal_is_blocked()

sd-event: add pidfd support

This adds support for watching for process exits via Linux new pidfd
concept. This makes watching processes and killing them race-free if
properly used, fixing a long-standing UNIX misdesign.

This patch adds implicit and explicit pidfd support to sd-event: if a
process shall be watched and is specified by PID we will now internally
create a pidfd for it and use that, if available. Alternatively a new
constructor for child process event sources is added that takes pidfds
as input.

Besides mere watching of child processes via pidfd two additional
features are added:

→ sd_event_source_send_child_signal() allows sending a signal to the
  process being watched in the safest way possible (wrapping
  the new pidfd_send_signal() syscall).

→ sd_event_source_set_child_process_own() allows marking a process
  watched for destruction as soon as the event source is freed. This is
  currently implemented in userspace, but hopefully will become a kernel
  feature eventually.

Altogether this means an sd_event_source object is now a safe and stable
concept for referencing processes in race-free way, with automatic
fallback to pre-pidfd kernels.

Note that this patch adds support for this only to sd-event, not to PID
1. That's because PID 1 needs to use waitid(P_ALL) for reaping any
process that might get reparented to it. This currently semantically
conflicts with pidfd use for watching processes since we P_ALL is
undirected and thus might reap process earlier than the pidfd notifies
process end, which is hard to handle. The kernel will likely gain a
concept for excluding specific pidfds from P_ALL watching, as soon as
that is around we can start making use of this in PID 1 too.

process-util: add helper pidfd_get_pid()

It returns the pid_t a pidfd refers to.

missing: add rt_sigqueueinfo() syscall definition

This is not a new system call at all (since kernel 2.2), however it's
not exposed in glibc (a wrapper is exposed however in sigqueue(), but it
substantially simplifies the system call). Since we want a nice fallback
for sending signals on non-pidfd systems for pidfd_send_signal() let's
wrap rt_sigqueueinfo() since it takes the same siginfo_t parameter.

missing: define new pidfd syscalls

sd-event: (void)ify some epoll_ctl() syscall invocations

sd-event: drop unnecessary local variable

udev: Ensure udev_event_spawn reads stdout

When running the program with udev_event_spawn it is possible to miss
output in stdout when the program exits causing the result to be empty
which can cause rules using the result to not function correctly.

This is due to the on_spawn_sigchld callback being processed while IO is
still pending and causing the event loop to exit.

To correct this the sigchld event source is made a lower priority than
the other event sources to ensure it is processed after IO.  This
requires changing the IO event source to oneshot and re-enabling it when
valid data is read but not for EOF, this prevents the empty pipes
constantly generating IO events.

Merge pull request #14133 from keur/clear_ambient_inherited

Clear ambient inherited

Merge pull request #14177 from keszybz/use-initrd.target

Use initrd.target in the initramfs

core: reload SELinux label cache on daemon-reload

Reloading the SELinux label cache here enables a light-wight follow-up of a SELinux policy change, e.g. adding a label for a RuntimeDirectory.

Closes: #13363

Merge pull request #14189 from cgzones/selinux_tmpfiles

Selinux tmpfiles

pid1: add new kernel cmdline arg systemd.cpu_affinity=

Let's allow configuration of the CPU affinity via the kernel cmdline,
overriding CPUAffinity= in /etc/systemd/system.conf

Prompted by:

https://lists.freedesktop.org/archives/systemd-devel/2019-November/043754.html

Fix DPI for MX Master 2s bluetooth mouse

Mouse behaviour is unusably slow disregardless of mouse speed settings.

Create parent directories when creating systemd-private subdirs

This is needed when systemd is compiled without systemd-tmpfiles

Merge pull request #14211 from yuwata/support-nlmsgerr_attr_msg

Support NLMSGERR_ATTR_MSG

network: do not return error but return UINT64_MAX if speed meter is disabled

Fixes #14222.

Alienware M17xR3 ejectcd button fix

core: swap priority can be negative

Negative priorities are useful for swap targets which should be only used as
last resort.

hwdb: Set trackball property for Logitech MX Ergo (#14231)

networkctl: fix to show BSSID

This fixes an issue caused by a typo in
78404d22cca9cbbc8adb9dd7248da2f2725b1dbc.

systemctl: enhance message about kexec missing kernel

Fixes #7730.

TODO: remove obsolete entries

initrd: fix systemd.debug-shell & friends

They would get assigned to an inactive target in the initramfs.

Fixup typo in NEWS

valgrind: temporarily handle that valgrind still doesn't know LOOP_GET_STATUS64

Should be removed once valgrind learns it.

loop-util: if we fail to fully set up a loop device, detach it again

loop-util: fill in the loopback number, even a posteriori

loop-util: optionally also resize partitions

loop-util: add api for locking the block device with flock()

loop-util: allow refreshing offset

loop-util: allow creating loopback block devices with offset/length

loop-util: add API to refresh loopback device size and opening existing loopback block devices

loop-util: accept loopback flags when creating loopback device

This way callers can choose if they want partition scanning or not.

Merge pull request #14216 from jwrdegoede/hwdb-teclast-sensors

hwdb: sort Teclast sensors entries and add a new quirk for the Teclast X89

hwdb: Add accel orientation quirk for Teclast X89 tablet

Add a quirk to fix the accelerometer orientation on the Teclast X89 tablet.

hwdb: Sort 60-sensor.hwdb Teclast entries alphabetically

Sort 60-sensor.hwdb Teclast entries alphabetically (by model name),
and add a comment with the model name to the few entries which were
missing this.

semaphore: switch branch to debian/master

network: include NLMSGERR_ATTR_MSG attribute in error message

sd-netlink: support NLMSGERR_ATTR_MSG

From v4.12 the kernel appends some attributes to netlink acks
containing a textual description of the error and other fields.
This makes sd-netlink parse the attributes.

update TODO

Merge pull request #14201 from poettering/v244-final

V244 final

nspawn: allow Capability=all in systemd.nspawn [EXEC] section

Just like --capability=all is allowed in the systemd-nspawn
command line.

hwdb: run another 'hwdb-update'

NEWS: update for final 244

README: move logo up, like on brand.systemd.io README

README: use more appropriate logo format for README

update TODO

man: document initrd.target

pid1: use initrd.target in the initramfs by default

This makes the code do what the documentation says. The code had no inkling
about initrd.target, so I think this change is fairly risky. As a fallback,
default.target will be loaded, so initramfses which relied on current behaviour
will still work, as along as they don't have a different initrd.target.

In an initramfs created with recent dracut:
$ ls -l usr/lib/systemd/system/{default.target,initrd.target}
lrwxrwxrwx. usr/lib/systemd/system/default.target -> initrd.target
-rw-r--r--. usr/lib/systemd/system/initrd.target
So at least for dracut, there should be no difference.

Also avoid a pointless allocation.

network: fix double free()

man: use literal tag at one more place

man: document sd_event_source_set_floating()

Let's make sure we get back to 100% man page documentation coverage of
our sd-event APIs. We are bad enough at the others, let's get these ones
right at least.

man: use mkswap@ instead of makeswap@

That is what is linked from systemd.swap(5) and also what the systemd.generator produces.

journald: don't ask for the machine ID if we don't need it