test-stat-util: add a very basic test for test_path_is_read_only()

test-stat-util: add standard test logging

update NEWS

docs/CGROUP_DELEGATION: fix some typos

Merge pull request #19851 from poettering/bpf-firewall-tweaks

close bpf firewall reload gap

Merge pull request #19852 from yuwata/network-stable-secret

network: introduce IPv6StableSecretAddress= to configure secret key for generating IPv6LL address

journald: when journald namespace instances log, they can do so safely to the main journald instance

Fixes: #18951

Merge pull request #19831 from yuwata/network-next2

network: several interface up/down and setting MTU related updates

NEWS: list more recent changes

bpf-firewall: close gap when updating the firewall

If we have BPF_F_ALLOW_MULTI support we can install the new program
before we drop the old (because we can install two program at the same
time). Let's do that, and thus fully close the firewall
gap.

bpf-program: document BPFProgram a bit

bpf-program: serialize attached BPF programs across daemon reexec/reload

Alternative to #17495

bpf-program: export hash_ops for BPFProgam objects

bpf-program: use structured initialization when allocating BPFProgram objects

bpf-link: prefix function names with "bpf_"

we generally do this for all bpf functions, do so here too.

core: rename socket-bind.[ch] → bpf-socket-bind.[ch]

The other BPF infra has a file name prefix of "bpf-" hence do so here
too.

network: do not process requests which conditionalized with link flags while the flags are updating

E.g. nexthop requires IFF_UP flag, but the currently stored flag may be
outdated if we called link_down(). This makes such requests pending if
at least one of the flags are updating.

network: make several link settings critical

network: use request queue to handle always-up or -down activation policy

network: use request queue to handle bound_to list

network: handle bound_by list even if IgnoreCarrierLoss=yes

network: add brief comments about bound_to and bound_by list

network: apply activation policy only when it is once activated

Otherwise, e.g., if activation policy is always-up is set for bond
slave, then setting bond configuration may fail.

network: do not drop requests on carrier lost

On carrier lost, then all requests which require carrier will not be
processed. And they will be processed when the interface gained its
carrier again. So, it is not necessary to drop requests here.

network: route: update error message

network: also adjust IPv6 MTU by the maximum MTU of the interface

network: read the minimum and maximum MTU of the interface, and adjust requested MTU based on these values

network: use request queue to configure CAN interfaces

This also makes SR-IOV configurations are ignored for CAN interfaces,
as CAN interfaces seem not to support SR-IOV features.

test-network: add a test case for IPv6StableSecretAddress=

network: introduce IPv6StableSecretAddress= setting

Previously, IPv6LinkLocalAddressGenerationMode= is not set, then we
define the address generation mode based on the result of reading
stable_secret sysctl value. This makes the mode is determined by whether
a secret address is specified in the new setting.

Closes #19622.

bpf: various coding style fixes

Mostly logging related: let's downgrade logging in dlopen_bpf() for
example, and remove duplicate logging at various places. Add %m to log
messages and so on.

bpf-firewall: move destruction of IP firewall objects to bpf-firewall.c

These are so many runtime objects, let's add a bpf_firewall_close()
helper that destroys them all, and call that from unit_free(), simply as
an excercise of encapsulating more BPF code in bpf-firewall.c.

This also brings the destruction order and variable declaration order in
struct Unit into the same systematic order.

No change in behaviour just some minor refactoring.

test-libcrypt-util: print out default for password settings, run make_salt() a few times

Inspired by
https://fedoraproject.org/wiki/Changes/yescrypt_as_default_hashing_method_for_shadow.

resolved: fix strange function recursion

In dns_server_unlink_marked() and dns_server_mark_all() we done recursively.
People might have dozens of servers defined, and it's better to avoid recursion
when a simple loop suffices.

dns_server_unlink_marked() would only unmark the first marked server.

Fixes #19651.

journal-file: truncate archived journals

Journal files have space allocated in 8MiB-aligned increments.

This can add up to substantial wasted space as many archived journals
accumulate without using all the allocated space.

This commit introduces truncating to the offset a subsequent append
would get written at when archiving.

Fixes https://github.com/systemd/systemd/issues/17613

tmpfiles: extend "Age" to accept an "age-by" argument

For "systemd-tmpfiles --cleanup", when the "Age" parameter
is specified, the criteria for deletion is determined from
the path's last modification timestamp ("mtime"), its last
access timestamp ("atime") and its last status change
timestamp ("ctime").

For instance, if one of those paths to be cleaned up are
opened, it results in the modification of "atime", which
results file system entry to not be removed because the
default aging algorithm would skip the entry.

Add an optional "age-by" argument by extending the "Age"
parameter to restrict the clean-up for a particular type
of file timestamp, which can be specified in "tmpfiles.d"
as follows:

  [age-by:]cleanup-age, where age-by is "[abcmACBM]+"

For example:

  d /foo/bar - - - abM:1m -

Would clean-up any files that were not accessed and created,
or directories that were not modified less than a minute ago
in "/foo/bar".

Fixes: #17002

Merge pull request #19166 from bluca/coredump_compress_on_the_fly

coredump: compress on the fly

udev: make WakeOnLan= take multiple features

WAKE_XXX are flag, not enum.

core/socket: do not assign another fd to SocketPort which already has a fd on deserialization

Otherwise, if a socket address is duplicated, then the previous fd is
closed.

Fixes #19843.

Merge pull request #19817 from keszybz/switch-root-serialization

Drop serialization of mounts and automounts over root switch

tmpfiles: add '=' action modifier.

Add the '=' action modifier that instructs tmpfiles.d to check the file
type of a path and remove objects that do not match before trying to
open or create the path.

BUG=chromium:1186405
TEST=./test/test-systemd-tmpfiles.py "$(which systemd-tmpfiles)"

Change-Id: If807dc0db427393e9e0047aba640d0d114897c26

man: add details on overriding top level drop-ins

When using top level drop-ins it isn't immediately obvious that one can
make use of symlinking to disable a top-level drop in for a specific
unit.

Signed-off-by: Peter Morrow <pemorrow@linux.microsoft.com>

core: do not serialize mounts and automounts for switch-root

When e.g. tmp.mount is present in the initrd, and we serialize it, switch root,
and deserialize, the new systemd is confused because it thinks /tmp is mounted.
In general, it doesn't make sense to serialize anything that refers to paths in
the old root file system.

This fixes two errors for me:

1. tmp.mount was not mounted properly before local-fs.target. It would be
mounted as some point (I guess when we re-read /proc/self/mountinfo for some
other reason). In effect systemd-tmpfiles-setup.service would see one fs, and
some other units started later a different one. In particular gdm.service would
fail because the pre-created /tmp/.X11-unix with proper permissions would not
exist at time it was started.

2. # systemd[1]: proc-sys-fs-binfmt_misc.automount: Got hangup/error on autofs pipe from kernel. Likely our automount point has been unmounted by someone or something else?
   # systemd[1]: proc-sys-fs-binfmt_misc.automount: Failed with result 'unmounted'.
   # systemd[1]: Mounting proc-sys-fs-binfmt_misc.mount...
   # systemd[1]: Mounted proc-sys-fs-binfmt_misc.mount.
   # systemd[1]: Starting systemd-binfmt.service...
   # systemd[1]: Finished systemd-binfmt.service.
   # systemd[1]: proc-sys-fs-binfmt_misc.automount: Path /proc/sys/fs/binfmt_misc is already a mount point, refusing start.
   # systemd[1]: Failed to set up automount proc-sys-fs-binfmt_misc.automount.
   # systemd[1]: proc-sys-fs-binfmt_misc.automount: Path /proc/sys/fs/binfmt_misc is already a mount point, refusing start.
   # systemd[1]: Failed to set up automount proc-sys-fs-binfmt_misc.automount.
   # systemd[1]: proc-sys-fs-binfmt_misc.automount: Path /proc/sys/fs/binfmt_misc is already a mount point, refusing start.
   # systemd[1]: Failed to set up automount proc-sys-fs-binfmt_misc.automount.
   # systemd[1]: Stopping systemd-binfmt.service...
   # systemd[1]: systemd-binfmt.service: Deactivated successfully.
   # systemd[1]: Stopped systemd-binfmt.service.

I couldn't understand the error here, but in retrospect the first line is entirely
correct: "someone or something else" was the old systemd unmounting the old root.

coredump: check cgroups memory limit if storing on tmpfs

When /var/lib/systemd/coredump/ is backed by a tmpfs, all disk usage
will be accounted under the systemd-coredump process cgroup memory
limit.
If MemoryMax is set, this might cause systemd-coredump to be terminated
by the kernel oom handler when writing large uncompressed core files,
even if the compressed core would fit within the limits.

Detect if a tmpfs is used, and if so check MemoryMax from the process
and slice cgroups, and do not write uncompressed core files that are
greater than half the available memory. If the limit is breached,
stop writing and compress the written chunk immediately, then delete
the uncompressed chunk to free more memory, and resume compressing
directly from STDIN.

Example debug log when this situation happens:

systemd-coredump[737455]: Setting max_size to limit writes to 51344896 bytes.
systemd-coredump[737455]: ZSTD compression finished (51344896 -> 3260 bytes, 0.0%)
systemd-coredump[737455]: ZSTD compression finished (1022786048 -> 47245 bytes, 0.0%)
systemd-coredump[737455]: Process 737445 (a.out) of user 1000 dumped core.

compress: return uncompressed size to the caller

Useful when compressing anonymous FDs that cannot be rewund

core: add MemoryAvailable unit property

Try to infer the unused memory that a unit can claim before the
memory.max limit is reached, including any limit set on any parent
slice above the unit itself.

po: Translated using Weblate (Spanish)

Currently translated at 62.9% (119 of 189 strings)

Co-authored-by: Emilio Herrera <ehespinosa57@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/es/
Translation: systemd/main

man: explain ConditionNeedsUpdate a bit more

We were effectively doing all post-upgrade scripts twice in Fedora. We got this
wrong, so it's likely other people will get it wrong too. So let's explain
what is actually needed to make this work, but also when it's not useful.

meson: do not share compiler flags except for emitting warnings

Follow-up for 65267363978dbb298eb4ba9b628d028c969fa616.

Prompted by https://github.com/systemd/systemd/issues/19191#issuecomment-856312107.

man: update docs on systemd-system.conf logging (LogTime=) (#19846)

Updating documentation for systemd to reflect that logging is done in the console.

Merge pull request #19639 from yuwata/network-next

network: bunch of fixes and new features

network: wait for all set-link requests are processed

network: drop trivial aliases of link_set_state()

network: use link_request_to_set_master() or friends

network: introduce link_request_to_activate()

The request will be processed after all setlink requests are processed.
The function will be used in later commits.

network: it is not necessary to call RTM_GETLINK when carrier is gained

network: set bridge or bond properties after master ifindex is set

network: sync link information after set-link request is processed

Some properties do not notify their changes. See do_setlink() in
net/core/rtnetlink.c of kernel.

network: use link_call_getlink() where applicable

network: introduce link_call_getlink()

network: split link_update() into small pieces

network: shorten code a bit, and reduce indentation

network: update operational state or friends on reconfigure

network: make link enter failed state when link_initialized() is failed

network: move functions

This changes no behavior. Preparation for later commits.

network: introduce link_get_master() and use it where applicable

network: introduce link_request_to_set_bridge_vlan()

This will be used in later commits.

sd-netlink: add IFLA_BRIDGE_FLAGS and IFLA_BRIDGE_VLAN_INFO attributes

network: expose bridge_vlan_append_info()

network: introduce network_adjust_bridge_vlan()

network: rebreak arguments

network: rename networkd-brvlan.[ch] -> networkd-bridge-vlan.[ch]

network: introduce link_request_to_set_bond()

This will be used in later commits.

network: introduce link_request_to_set_bridge()

This will be used in later commits.

network: introduce link_request_to_create_stacked_netdev()

This will be used in later commits.

network: introduce link_request_to_set_master()

The function will be used later.

network: use request queue to set IPv6LL address generation mode

network: use request queue to set interface group

network: use request queue to set MAC address

network: use request queue to set link flags

network: use request queue to set MTU

network: merge link_configure() and link_configure_continue() again

It is not necessary to stop whole configuration process until MTU and
IPv6LL address generation mode are set. But it is enough just setting
IPv6 MTU again after MTU is set, and dropping IPv6LL address after
setting the address generation mode.

network: drop meaningless condition about setting MTU

The condition does not fix infinite loop of interface reset, as the
interface is reset after netlink reply is received, thus setting_mtu is
false.

See also #18738.

network: introduces link_drop_ipv6ll_addresses()

It is not necessary to parse whole message and store the address in
Link::addresses_foreign, as the address will be removed soon later.

network: make link enter failed state on failure in link_update() and link_reset_carrier()

Previously, several failures in link_carrier_gained() make link enter
failed state, and other errors are ignored. Now, all failures in
link_carrier_gained(), moreover, link_update() are critical.

network: rename link_acquire_conf() -> link_acquire_dynamic_conf()

To clarify it starts dynamic configuration engines e.g. DHCP clients.

network: request to configure static settings earlier

Now, all static configs should be ordered after the link gains its carrier.
So, it is not necessary to wait for that before queuing requests.

network: introduce request_hash_ops to dedup requests

If KeepConfiguration= or ConfigureWithoutCarrier= is set, then the same
requests may be queued.

network: expose hash and compare functions

network: use request queue to configure IPv6 proxy NDP addresses

network: move logic for setting proxy_ndp sysctl to networkd-sysctl.c

network: introduce network_adjust_ipv6_proxy_ndp()

network: address label: use request queue to configure address labels

network: address label: use struct in6_addr instead

Address label is for IPv6.

network: address label: refuse IPv4 mapped address with large prefix length

See ip6addrlbl_alloc() in net/ipv6/addrlabel.c of kernel.

in-addr-util: introduce in6_addr_is_ipv4_mapped_address()

network: use request queue to configure bridge MDB

network: rename MdbEntry -> BridgeMDB

test-network: fix setting name

This fixes an issue introduced by 72ffb9133d686bef6d9d79e9d2899571651d5c1b.

test-network: add a testcase for UplinkInterface= for DHCP server